做计算机视觉的人迟早会撞上一个问题为什么那么多视觉模型最终都要靠神经网络来搭这个问题我在整理《计算机视觉第一原理》系列学习笔记时体会尤其深。系列进行到第 12 讲主题落在神经网络上。表面上看这一讲只是在讲感知机、激活函数、反向传播这些基础概念但实际上它是一把钥匙。后面所有关于卷积神经网络、目标检测、图像分割的内容都建立在对“网络如何学习”的正确理解上。这篇文章不会带你复现一篇顶会论文也不会让你花三天时间搭一个大模型。它的目标是陪你把神经网络从感知机到反向传播再到卷积神经网络的路径完整走一遍用最小代码跑通一个图像分类任务并把最容易踩的坑提前指出来。如果你正处于“会调库但看不懂训练日志”的阶段这篇文章应该能帮你把关键概念补上。如果你已经在项目中用过神经网络但总是凭感觉调参第 5 节和第 8 节值得重点看。1. 这篇文章真正要解决的问题很多同学学计算机视觉时路径是反过来的先听说了 CNN 很厉害于是直接打开 PyTorch 搭一个卷积网络在 MNIST 上跑出 99% 的准确率然后感觉“学会了”。但一旦换一个真实数据集问题就来了Loss 不下降、训练集准确率很高但验证集很差、梯度数值忽大忽小。这个时候再去翻博客发现到处都在说“调学习率”“加 BN”“换激活函数”但没人说清楚为什么这样调。这就是跳过神经网络基础、直接上手 CNN 的代价。神经网络是计算机视觉从“手工特征”走向“自动特征学习”的分水岭。在神经网络之前做视觉任务需要先用 SIFT、HOG 等方法人工设计特征再用 SVM 等分类器做识别。特征设计得好不好直接决定任务上限而特征设计本身非常依赖经验和运气。神经网络把这一过程变成了“从数据中自动学习特征表示”这才是它在视觉领域带来范式变化的核心原因。所以这篇文章要解决的不是“神经网络怎么调包”而是三件事神经网络到底在学什么权重和偏置biases的作用分别是什么反向传播和梯度下降如何让网络真正“学会”当你用 PyTorch 训练一个视觉分类模型时每一个关键步骤背后对应的数学直觉是什么。把这三件事串起来之后CNN、ResNet、Transformer 这些后续模型对你来说就不再是黑盒而是同一套学习机制在不同结构上的演化。2. 神经网络为什么是计算机视觉的“第一原理”我们先把“第一原理”这个词说清楚。它不是指神经网络是视觉领域最早发明的算法而是指神经网络所依赖的“数据驱动特征学习”这一思想是现代计算机视觉所有主流方法的基础假设。在神经网络之前一个典型的视觉分类系统大概是这个流程对图像做预处理比如灰度化、归一化、去噪用人工设计的算子提取特征比如 SIFT、HOG、LBP把特征向量送入分类器比如 SVM通过网格搜索等机制调分类器参数。这套流程里最关键、也最困难的部分是第 2 步。你需要知道什么样的特征对当前任务有效比如做人脸识别可能要关注五官位置和纹理做行人检测可能要关注边缘梯度和局部形状。这意味着每换一个新任务都要重新设计一轮特征工程。神经网络改变了这个逻辑。它把“特征提取”和“分类决策”放进同一个模型里让两者联合优化。网络的浅层自动学习边缘、颜色、纹理等低级特征深层自动组合出“眼睛”“轮子”“文字区域”这类高级语义特征。整个过程中你不需要手动指定特征是什么只需要准备好数据和标签然后让损失函数来驱动网络自己调整。从经典课程安排来看这也是为什么很多计算机视觉课程会把神经网络放在卷积网络之前讲。先理解神经网络如何通过堆叠非线性变换来拟合复杂的输入输出关系你才能理解卷积网络为什么要用局部连接和权重共享——它本质上是针对图像这种高维、具有局部相关性的数据对全连接神经网络做了一次结构上的约束。小结论神经网络不是计算机视觉工具箱里的一个选项它是整个视觉深度学习体系的底座。把底座吃透后面的一切才有据可依。3. 从生物神经元到数学神经元感知机与激活函数3.1 神经元的最小数学模型神经网络里的“神经元”和生物学里的神经元只是借用了名字。从数学上看一个神经元做的事情非常简单接收多个输入值 (x_1, x_2, ..., x_n)每个输入乘上一个权重 (w_1, w_2, ..., w_n)把所有乘积加起来再加上一个偏置 (b)把结果送入激活函数 (f)得到输出 (y)。写成公式就是[ y f(\sum_{i1}^{n} w_i x_i b) ]这个结构最初叫感知机Perceptron1950 年代就出现了。它的表达能力非常有限只能处理线性可分的问题。经典的 XOR 问题就证明了单层感知机无法拟合“异或”这样的非线性关系。当时这个局限直接导致神经网络研究进入了低谷期。后来人们发现如果把多个这样的神经元分层堆叠起来并在每层之间加入非线性激活函数网络就能逼近任意复杂的函数。这就是多层感知机MLP也是神经网络家族的起点。3.2 激活函数为什么是必需品很多人第一次学神经网络时会问为什么不能直接线性加权求和非要套一个激活函数答案很直接多层线性变换的叠加仍然是线性变换。如果你每一层都只做线性操作那无论堆多少层整个网络在数学上仍然等价于一个线性模型表达能力没有任何提升。激活函数的非线性才是网络能够逼近复杂函数的关键。常用的激活函数有三个各自的性格完全不同激活函数公式优点缺点Sigmoid(\sigma(x) \frac{1}{1 e^{-x}})输出在 0 到 1 之间适合二分类输出层容易梯度饱和输出不以 0 为中心Tanh(\tanh(x) \frac{e^x - e^{-x}}{e^x e^{-x}})输出在 -1 到 1 之间以 0 为中心仍然存在梯度饱和问题ReLU(\text{ReLU}(x) \max(0, x))计算简单收敛快缓解梯度消失神经元可能“死亡”即输出恒为 0现代视觉网络默认首选 ReLU主要原因是在正区间内梯度恒为 1能有效缓解深层网络中的梯度消失问题。但要注意ReLU 的梯度在负数区间恒为 0如果学习率设置过大可能导致大量神经元训练后输出恒为 0也就是“神经元死亡”。这个坑后面还会提到。3.3 biases 到底是什么很多初学者会困惑为什么神经元要有偏置bias用一个直观例子解释。假设一个神经元只有一个输入 (x)权重是 (w)没有偏置那输出就是 (f(wx))。无论 (w) 怎么变当 (x0) 时输出永远是 0。这限制了神经元的表达能力。加上偏置后输出变成 (f(wx b))即使 (x0)输出也可以是一个非零值。偏置的本质是它决定了一个神经元“在什么样的输入条件下被激活”。如果把权重理解为“输入对神经元的影响程度”那偏置就是“神经元本身的激活阈值”。在代码实现里偏置通常是一个独立的参数向量。比如 PyTorch 的nn.Linear默认就会带上偏置项不需要手动添加。当你看到某层输出里多了一个可学习的 bias 参数时不用觉得奇怪它是神经元结构的一部分不是多余的。4. 权重、偏置与损失函数神经网络在学什么4.1 训练的本质是搜索参数神经网络训练听起来很高深但底层逻辑并不复杂。一个网络的结构一旦确定它就是一个参数化的函数输入数据 (x)输出预测 (\hat{y})中间的所有行为都由权重 (W) 和偏置 (b) 决定。训练的过程就是不断调整这些参数让函数的输出尽可能接近我们想要的标签。所以回答“神经网络在学什么”这个问题它学的是从输入到输出的复杂映射而学习的结果就是一组权重和偏置。这里的关键在于这组参数并没有一个解析解可以直接算出来。实际的做法是初始化一组随机参数然后通过反复迭代逐步把参数调整到“损失足够小”的状态。4.2 损失函数衡量“错得多离谱”有了参数还需要一个评价标准来告诉网络“当前预测有多差”。这个评价标准就是损失函数。对于图像分类任务最常用的是交叉熵损失Cross-Entropy Loss。它的直觉是如果模型对正确类别的预测概率越接近 1损失越小越接近 0损失越大。与之相对的是均方误差MSE通常用于回归任务。两者的选择标准主要看输出类型任务类型典型损失函数原因多分类交叉熵损失直接衡量预测概率分布与真实分布的差异梯度特性更好回归均方误差直接惩罚预测值与真实值的数值偏差二分类二元交叉熵输出层配合 Sigmoid等价于最大似然估计一个常见的误区是不管什么任务都默认用交叉熵。对于分类任务这没有错但如果你的任务是预测一个连续数值比如年龄、价格、坐标那交叉熵就不再合适应该改回 MSE 或者 L1 Loss。4.3 损失值和“学到没学到”的关系训练日志里的 loss 数值可以直接当作模型学习状态的体温计。在训练初期参数是随机初始化的预测结果基本靠猜损失值通常较高。随着迭代轮数增加参数逐步优化损失应该整体呈下降趋势。如果 loss 完全不动或者反复震荡说明学习过程出了问题需要从学习率、数据标准化、网络结构等角度排查。小结论神经网络的训练目标就是在参数空间中搜索一组权重和偏置使损失函数值尽可能小。理解了这个目标后面看梯度下降和反向传播就顺理成章了。5. 反向传播与梯度下降神经网络如何学习5.1 梯度下降的直觉有了损失函数之后最朴素的想法是把参数都枚举一遍找到损失最小的组合。但这在神经网络里完全不可行——一个几十层的网络可能有数百万甚至上亿个参数穷举的空间是天文数字。梯度下降法给出了一个高效的求解方向。它的核心思想是沿着损失函数下降最快的方向也就是梯度的反方向逐步更新参数。参数更新公式非常简单[ W W - \eta \cdot \frac{\partial L}{\partial W} ]其中 (\eta) 是学习率(\frac{\partial L}{\partial W}) 是损失对权重的梯度。学习率控制着每一步走多远。学习率太大参数会在最优点附近震荡loss 不降反升学习率太小收敛速度过慢训练可能要跑很久。这个值通常从 (10^{-2}) 到 (10^{-4}) 的量级开始尝试具体数值需要根据任务和网络结构调整。5.2 反向传播梯度是如何算出来的梯度下降告诉我们怎么更新参数但没有说明梯度本身怎么算。对于深层网络损失函数对某一层参数的导数会受到后面所有层的影响直接计算非常复杂。反向传播Backpropagation解决了这个问题。它利用微积分中的链式法则从输出层开始逐层向前计算梯度。每一层的梯度都由上一层的误差信号乘以当前层的局部导数得到因此计算效率很高。这里的直觉可以这样理解网络前向传播是一次“决策过程”输入数据逐层变换最后得到预测结果反向传播则是一次“追责过程”从最终的损失出发倒着看每一层参数对损失的影响有多大并以此为依据更新参数。实际训练中你不需要手动实现反向传播。PyTorch 等深度学习框架通过自动微分机制替你完成了一切。你只需要调用loss.backward()框架就会自动计算所有参数的梯度。但理解原理仍然重要。否则遇到梯度消失、梯度爆炸这类问题时你只能靠试而不是靠判断。5.3 一个完整的训练迭代单元在 PyTorch 中一个标准的训练步长包含以下几步将数据输入模型得到预测值根据预测值和真实标签计算损失调用loss.backward()计算梯度调用optimizer.step()更新参数调用optimizer.zero_grad()清零梯度避免累积。这个顺序千万不能乱。尤其注意zero_grad()要在backward()之前执行否则梯度会在多个 batch 之间累积导致更新方向严重偏离。6. 从神经网络到卷积神经网络视觉任务的默认选择6.1 全连接网络为什么不适合图像理解了神经网络之后一个自然的问题是直接用全连接网络处理图像行不行理论上可以但实际效果很差。根本原因是参数量太大。假设输入是一张 (224 \times 224) 的彩色图片展开成向量就是 150528 个像素。全连接网络的第一个隐藏层如果有 1024 个神经元那这一层的参数量就超过 1.5 亿训练代价和过拟合风险都不可接受。而且全连接网络还有一个结构性缺陷它把图像展开成一维向量时彻底破坏了像素之间的空间位置关系。对于图像任务来说“相邻像素更相关”这个先验信息被忽略了。卷积神经网络正是在这个背景下出现的。6.2 卷积的两大核心设计卷积网络与全连接网络最大的区别在于两个设计局部连接和权重共享。局部连接指的是每个神经元只和输入的一个局部区域相连这个区域被称为感受野。它模拟了视觉皮层细胞对局部刺激敏感的特点也大幅减少了参数数量。权重共享指的是同一层卷积核在图像的不同位置使用同一组权重。这意味着同一个卷积核可以检测整张图像中同一种特征模式比如边缘、角点、纹理。无论目标出现在图像的左上角还是右下角检测能力不会受影响。再加上池化层的下采样操作卷积网络逐步把大尺寸图像压缩成高语义特征图最后通过全连接层或全局平均池化输出分类结果。这就是 LeNet、AlexNet 等经典网络的基本骨架。6.3 一个简单的 CNN 模型定义在 PyTorch 中一个简单的卷积网络可以这样定义import torch.nn as nn class SimpleCNN(nn.Module): def __init__(self, num_classes10): super().__init__() self.features nn.Sequential( nn.Conv2d(1, 32, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), nn.Conv2d(32, 64, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2) ) self.classifier nn.Sequential( nn.Flatten(), nn.Linear(64 * 7 * 7, 128), nn.ReLU(inplaceTrue), nn.Linear(128, num_classes) ) def forward(self, x): x self.features(x) x self.classifier(x) return x这段代码定义了适合 MNIST 数据集的简单 CNN。两个卷积层负责提取特征两个池化层降低特征图尺寸最后的全连接层负责分类。它和你前面看到的 MLP 结构并没有本质区别只是在特征提取阶段把全连接换成了卷积。7. 神经网络训练的最小可跑示例这一节我们用 PyTorch 跑通一个完整的 MNIST 数字识别任务。MNIST 是计算机视觉里最常用的入门数据集握手写数字图片通道数为 1图片大小是 (28 \times 28)。7.1 环境准备建议使用 Python 3.8 及以上版本并安装 PyTorch 和 TorchVision。具体版本以实际情况为准这里演示的是通用流程。pip install torch torchvision如果网络环境下载慢可以考虑配置国内镜像源。这里不做死命令推荐确保三个库能被正常导入即可。7.2 数据加载与预处理import torch from torch.utils.data import DataLoader from torchvision import datasets, transforms transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ]) train_dataset datasets.MNIST( root./data, trainTrue, downloadTrue, transformtransform ) test_dataset datasets.MNIST( root./data, trainFalse, downloadTrue, transformtransform ) train_loader DataLoader(train_dataset, batch_size64, shuffleTrue) test_loader DataLoader(test_dataset, batch_size64, shuffleFalse)这里最关键的一步是Normalize。MNIST 数据集的像素范围是 0 到 255转成 Tensor 后变到 0 到 1再用均值 0.1307 和标准差 0.3081 做标准化。标准化可以让数据分布更稳定帮助梯度下降更好收敛。很多初学者 loss 不下降第一步就要检查数据是否做了归一化。7.3 模型定义与训练循环这里用一个两层 MLP 就够了重点在于把训练流程跑通。import torch.nn as nn import torch.optim as optim class MLP(nn.Module): def __init__(self): super().__init__() self.net nn.Sequential( nn.Flatten(), nn.Linear(28 * 28, 128), nn.ReLU(inplaceTrue), nn.Linear(128, 10) ) def forward(self, x): return self.net(x) model MLP() criterion nn.CrossEntropyLoss() optimizer optim.Adam(model.parameters(), lr0.001) def train_one_epoch(model, loader, criterion, optimizer): model.train() total_loss 0 correct 0 total 0 for images, labels in loader: optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() total_loss loss.item() _, predicted outputs.max(1) total labels.size(0) correct predicted.eq(labels).sum().item() print(fLoss: {total_loss / len(loader):.4f}, Acc: {100.0 * correct / total:.2f}%) for epoch in range(3): train_one_epoch(model, train_loader, criterion, optimizer)训练循环中的几个细节值得注意model.train()把模型切换到训练模式这会影响 Dropout 和 BatchNorm 等层的行为optimizer.zero_grad()必须每轮都执行否则梯度会跨 batch 累积outputs.max(1)取每个样本预测概率最大的类别作为预测结果。7.4 测试与验证训练结束后在测试集上做一次评估def evaluate(model, loader): model.eval() correct 0 total 0 with torch.no_grad(): for images, labels in loader: outputs model(images) _, predicted outputs.max(1) total labels.size(0) correct predicted.eq(labels).sum().item() print(fTest Acc: {100.0 * correct / total:.2f}%) evaluate(model, test_loader)注意这里必须使用model.eval()和torch.no_grad()它们分别用来关闭训练阶段特有行为以及关闭梯度跟踪节省内存并保证验证结果稳定。8. 训练结果如何判断与常见问题排查训练结束后怎么判断模型学得好不好首先看训练日志。Loss 应该随着 epoch 增加而下降训练准确率应该逐步上升。如果前几个 epoch 的 loss 明显下降说明梯度更新方向基本正确。如果 loss 完全不动或者出现 NaN、剧烈震荡说明训练没有正常进行。其次看测试集准确率。如果训练集准确率已经很高但测试集准确率远低于训练集说明出现了过拟合如果两者都低说明模型欠拟合需要增加容量或调整超参数。下面整理几个最常见的训练问题按排查顺序排列问题现象可能原因排查方式解决方案Loss 一直不下降数据未归一化打印输入数据的均值与方差检查是否过小或过大用 Normalize 做标准化或缩放像素到 0-1Loss 出现 NaN学习率过大或梯度爆炸观察 loss 是否突然发散降低学习率或对梯度做 clip训练集准确率高测试集准确率低过拟合对比训练集和测试集准确率差值增加 Dropout降低模型容量增加数据增强准确率稳定在 10% 左右模型没有学到有效特征检查标签是否错位数据加载是否正常可视化几个 batch 的图片和标签训练速度极慢网络参数量过大或优化器配置不当观察 batch 处理耗时减少 batch size简化网络结构损失反复震荡学习率偏大或 batch size 过小记录每个 epoch 的 loss 曲线降低学习率增大 batch size此外梯度消失是深层网络里非常常见的现象。症状是浅层参数几乎不更新、训练过程极其缓慢。解决办法包括把 Sigmoid/Tanh 换成 ReLU 类激活函数、加入 Batch Normalization、使用残差连接、合理初始化参数。如果你用的是 GPU 训练但显存占用异常高优先检查 batch size 和输入图像尺寸。这两者直接决定特征图的显存消耗。9. 工程实践建议与后续学习方向9.1 工程实践建议把模型跑通只是第一步。如果你要把神经网络应用到真实项目下面这几个工程习惯建议尽早养成。第一固定随机种子。神经网络初始化有随机性同一个模型不同次训练结果可能不同。为了实验可复现建议在训练前固定所有随机源import random import numpy as np import torch def set_seed(seed42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) if torch.cuda.is_available(): torch.cuda.manual_seed_all(seed)第二不要手工实现数据增强和预处理流水线优先使用框架自带的工具。TorchVision 提供了丰富的 Transform包括随机裁剪、随机翻转、颜色抖动等。它们不仅有性能优化还能避免很多边界问题。第三训练时保存日志和模型权重。建议在训练过程中把训练损失、验证准确率记录到一个文件里并且每个 epoch 保存一次模型权重。这样即使训练中途中断也能从最近的 checkpoint 恢复而不是从头再来。第四注意训练集、验证集、测试集的划分。验证集用于调参和选择模型测试集只能用于最终评估。如果在调参过程中反复使用测试集测试集就失去了“未见数据”的意义评估结果会偏乐观。第五使用 GPU 训练时注意把模型和数据都迁移到 GPUdevice torch.device(cuda if torch.cuda.is_available() else cpu) model.to(device) images images.to(device) labels labels.to(device)这行代码看起来简单但漏掉它你就只能在 CPU 上慢慢跑。而且模型在 CPU数据在 GPU或者反过来会出现运行时错误。排查这类问题的时候第一反应应该是检查 device 是否一致。9.2 从神经网络出发的下一步路线神经网络这一讲是计算机视觉学习路线中的承上启下环节。往前你可以复习线性代数和概率论基础把矩阵乘法、偏导数、最大似然估计这些数学工具补牢往后你可以往三个方向深入卷积神经网络理解 VGG、ResNet、EfficientNet 等结构如何在神经网络基础上演进重点看残差连接和 Normalization 的设计目标检测与分割从 Faster R-CNN、YOLO、U-Net 等经典模型入手理解神经网络输出如何被进一步解析为边界框和像素级掩码Transformer 与基础模型ViT 把图像当成序列处理本质上仍然是在训练大规模神经网络只是把卷积结构换成了注意力机制。无论选择哪个方向你都需要反复回到这一讲提到的核心概念权重和偏置决定了网络状态损失函数定义了学习目标反向传播和梯度下降完成了状态更新。这三件事贯穿所有深度学习模型。最后想提醒一句这篇文章给你搭好的是骨架真正把神经网络内化成直觉的方式还是亲手把代码跑一遍刻意改坏某个环节再观察结果。比如把学习率从 0.001 改成 0.1看 loss 如何震荡把激活函数从 ReLU 换成 Sigmoid看深层网络的收敛速度变化。这种“故意弄坏”的实验往往比从头到尾跑通一遍学到更多。
做计算机视觉的人迟早会撞上一个问题为什么那么多视觉模型最终都要靠神经网络来搭这个问题我在整理《计算机视觉第一原理》系列学习笔记时体会尤其深。系列进行到第 12 讲主题落在神经网络上。表面上看这一讲只是在讲感知机、激活函数、反向传播这些基础概念但实际上它是一把钥匙。后面所有关于卷积神经网络、目标检测、图像分割的内容都建立在对“网络如何学习”的正确理解上。这篇文章不会带你复现一篇顶会论文也不会让你花三天时间搭一个大模型。它的目标是陪你把神经网络从感知机到反向传播再到卷积神经网络的路径完整走一遍用最小代码跑通一个图像分类任务并把最容易踩的坑提前指出来。如果你正处于“会调库但看不懂训练日志”的阶段这篇文章应该能帮你把关键概念补上。如果你已经在项目中用过神经网络但总是凭感觉调参第 5 节和第 8 节值得重点看。1. 这篇文章真正要解决的问题很多同学学计算机视觉时路径是反过来的先听说了 CNN 很厉害于是直接打开 PyTorch 搭一个卷积网络在 MNIST 上跑出 99% 的准确率然后感觉“学会了”。但一旦换一个真实数据集问题就来了Loss 不下降、训练集准确率很高但验证集很差、梯度数值忽大忽小。这个时候再去翻博客发现到处都在说“调学习率”“加 BN”“换激活函数”但没人说清楚为什么这样调。这就是跳过神经网络基础、直接上手 CNN 的代价。神经网络是计算机视觉从“手工特征”走向“自动特征学习”的分水岭。在神经网络之前做视觉任务需要先用 SIFT、HOG 等方法人工设计特征再用 SVM 等分类器做识别。特征设计得好不好直接决定任务上限而特征设计本身非常依赖经验和运气。神经网络把这一过程变成了“从数据中自动学习特征表示”这才是它在视觉领域带来范式变化的核心原因。所以这篇文章要解决的不是“神经网络怎么调包”而是三件事神经网络到底在学什么权重和偏置biases的作用分别是什么反向传播和梯度下降如何让网络真正“学会”当你用 PyTorch 训练一个视觉分类模型时每一个关键步骤背后对应的数学直觉是什么。把这三件事串起来之后CNN、ResNet、Transformer 这些后续模型对你来说就不再是黑盒而是同一套学习机制在不同结构上的演化。2. 神经网络为什么是计算机视觉的“第一原理”我们先把“第一原理”这个词说清楚。它不是指神经网络是视觉领域最早发明的算法而是指神经网络所依赖的“数据驱动特征学习”这一思想是现代计算机视觉所有主流方法的基础假设。在神经网络之前一个典型的视觉分类系统大概是这个流程对图像做预处理比如灰度化、归一化、去噪用人工设计的算子提取特征比如 SIFT、HOG、LBP把特征向量送入分类器比如 SVM通过网格搜索等机制调分类器参数。这套流程里最关键、也最困难的部分是第 2 步。你需要知道什么样的特征对当前任务有效比如做人脸识别可能要关注五官位置和纹理做行人检测可能要关注边缘梯度和局部形状。这意味着每换一个新任务都要重新设计一轮特征工程。神经网络改变了这个逻辑。它把“特征提取”和“分类决策”放进同一个模型里让两者联合优化。网络的浅层自动学习边缘、颜色、纹理等低级特征深层自动组合出“眼睛”“轮子”“文字区域”这类高级语义特征。整个过程中你不需要手动指定特征是什么只需要准备好数据和标签然后让损失函数来驱动网络自己调整。从经典课程安排来看这也是为什么很多计算机视觉课程会把神经网络放在卷积网络之前讲。先理解神经网络如何通过堆叠非线性变换来拟合复杂的输入输出关系你才能理解卷积网络为什么要用局部连接和权重共享——它本质上是针对图像这种高维、具有局部相关性的数据对全连接神经网络做了一次结构上的约束。小结论神经网络不是计算机视觉工具箱里的一个选项它是整个视觉深度学习体系的底座。把底座吃透后面的一切才有据可依。3. 从生物神经元到数学神经元感知机与激活函数3.1 神经元的最小数学模型神经网络里的“神经元”和生物学里的神经元只是借用了名字。从数学上看一个神经元做的事情非常简单接收多个输入值 (x_1, x_2, ..., x_n)每个输入乘上一个权重 (w_1, w_2, ..., w_n)把所有乘积加起来再加上一个偏置 (b)把结果送入激活函数 (f)得到输出 (y)。写成公式就是[ y f(\sum_{i1}^{n} w_i x_i b) ]这个结构最初叫感知机Perceptron1950 年代就出现了。它的表达能力非常有限只能处理线性可分的问题。经典的 XOR 问题就证明了单层感知机无法拟合“异或”这样的非线性关系。当时这个局限直接导致神经网络研究进入了低谷期。后来人们发现如果把多个这样的神经元分层堆叠起来并在每层之间加入非线性激活函数网络就能逼近任意复杂的函数。这就是多层感知机MLP也是神经网络家族的起点。3.2 激活函数为什么是必需品很多人第一次学神经网络时会问为什么不能直接线性加权求和非要套一个激活函数答案很直接多层线性变换的叠加仍然是线性变换。如果你每一层都只做线性操作那无论堆多少层整个网络在数学上仍然等价于一个线性模型表达能力没有任何提升。激活函数的非线性才是网络能够逼近复杂函数的关键。常用的激活函数有三个各自的性格完全不同激活函数公式优点缺点Sigmoid(\sigma(x) \frac{1}{1 e^{-x}})输出在 0 到 1 之间适合二分类输出层容易梯度饱和输出不以 0 为中心Tanh(\tanh(x) \frac{e^x - e^{-x}}{e^x e^{-x}})输出在 -1 到 1 之间以 0 为中心仍然存在梯度饱和问题ReLU(\text{ReLU}(x) \max(0, x))计算简单收敛快缓解梯度消失神经元可能“死亡”即输出恒为 0现代视觉网络默认首选 ReLU主要原因是在正区间内梯度恒为 1能有效缓解深层网络中的梯度消失问题。但要注意ReLU 的梯度在负数区间恒为 0如果学习率设置过大可能导致大量神经元训练后输出恒为 0也就是“神经元死亡”。这个坑后面还会提到。3.3 biases 到底是什么很多初学者会困惑为什么神经元要有偏置bias用一个直观例子解释。假设一个神经元只有一个输入 (x)权重是 (w)没有偏置那输出就是 (f(wx))。无论 (w) 怎么变当 (x0) 时输出永远是 0。这限制了神经元的表达能力。加上偏置后输出变成 (f(wx b))即使 (x0)输出也可以是一个非零值。偏置的本质是它决定了一个神经元“在什么样的输入条件下被激活”。如果把权重理解为“输入对神经元的影响程度”那偏置就是“神经元本身的激活阈值”。在代码实现里偏置通常是一个独立的参数向量。比如 PyTorch 的nn.Linear默认就会带上偏置项不需要手动添加。当你看到某层输出里多了一个可学习的 bias 参数时不用觉得奇怪它是神经元结构的一部分不是多余的。4. 权重、偏置与损失函数神经网络在学什么4.1 训练的本质是搜索参数神经网络训练听起来很高深但底层逻辑并不复杂。一个网络的结构一旦确定它就是一个参数化的函数输入数据 (x)输出预测 (\hat{y})中间的所有行为都由权重 (W) 和偏置 (b) 决定。训练的过程就是不断调整这些参数让函数的输出尽可能接近我们想要的标签。所以回答“神经网络在学什么”这个问题它学的是从输入到输出的复杂映射而学习的结果就是一组权重和偏置。这里的关键在于这组参数并没有一个解析解可以直接算出来。实际的做法是初始化一组随机参数然后通过反复迭代逐步把参数调整到“损失足够小”的状态。4.2 损失函数衡量“错得多离谱”有了参数还需要一个评价标准来告诉网络“当前预测有多差”。这个评价标准就是损失函数。对于图像分类任务最常用的是交叉熵损失Cross-Entropy Loss。它的直觉是如果模型对正确类别的预测概率越接近 1损失越小越接近 0损失越大。与之相对的是均方误差MSE通常用于回归任务。两者的选择标准主要看输出类型任务类型典型损失函数原因多分类交叉熵损失直接衡量预测概率分布与真实分布的差异梯度特性更好回归均方误差直接惩罚预测值与真实值的数值偏差二分类二元交叉熵输出层配合 Sigmoid等价于最大似然估计一个常见的误区是不管什么任务都默认用交叉熵。对于分类任务这没有错但如果你的任务是预测一个连续数值比如年龄、价格、坐标那交叉熵就不再合适应该改回 MSE 或者 L1 Loss。4.3 损失值和“学到没学到”的关系训练日志里的 loss 数值可以直接当作模型学习状态的体温计。在训练初期参数是随机初始化的预测结果基本靠猜损失值通常较高。随着迭代轮数增加参数逐步优化损失应该整体呈下降趋势。如果 loss 完全不动或者反复震荡说明学习过程出了问题需要从学习率、数据标准化、网络结构等角度排查。小结论神经网络的训练目标就是在参数空间中搜索一组权重和偏置使损失函数值尽可能小。理解了这个目标后面看梯度下降和反向传播就顺理成章了。5. 反向传播与梯度下降神经网络如何学习5.1 梯度下降的直觉有了损失函数之后最朴素的想法是把参数都枚举一遍找到损失最小的组合。但这在神经网络里完全不可行——一个几十层的网络可能有数百万甚至上亿个参数穷举的空间是天文数字。梯度下降法给出了一个高效的求解方向。它的核心思想是沿着损失函数下降最快的方向也就是梯度的反方向逐步更新参数。参数更新公式非常简单[ W W - \eta \cdot \frac{\partial L}{\partial W} ]其中 (\eta) 是学习率(\frac{\partial L}{\partial W}) 是损失对权重的梯度。学习率控制着每一步走多远。学习率太大参数会在最优点附近震荡loss 不降反升学习率太小收敛速度过慢训练可能要跑很久。这个值通常从 (10^{-2}) 到 (10^{-4}) 的量级开始尝试具体数值需要根据任务和网络结构调整。5.2 反向传播梯度是如何算出来的梯度下降告诉我们怎么更新参数但没有说明梯度本身怎么算。对于深层网络损失函数对某一层参数的导数会受到后面所有层的影响直接计算非常复杂。反向传播Backpropagation解决了这个问题。它利用微积分中的链式法则从输出层开始逐层向前计算梯度。每一层的梯度都由上一层的误差信号乘以当前层的局部导数得到因此计算效率很高。这里的直觉可以这样理解网络前向传播是一次“决策过程”输入数据逐层变换最后得到预测结果反向传播则是一次“追责过程”从最终的损失出发倒着看每一层参数对损失的影响有多大并以此为依据更新参数。实际训练中你不需要手动实现反向传播。PyTorch 等深度学习框架通过自动微分机制替你完成了一切。你只需要调用loss.backward()框架就会自动计算所有参数的梯度。但理解原理仍然重要。否则遇到梯度消失、梯度爆炸这类问题时你只能靠试而不是靠判断。5.3 一个完整的训练迭代单元在 PyTorch 中一个标准的训练步长包含以下几步将数据输入模型得到预测值根据预测值和真实标签计算损失调用loss.backward()计算梯度调用optimizer.step()更新参数调用optimizer.zero_grad()清零梯度避免累积。这个顺序千万不能乱。尤其注意zero_grad()要在backward()之前执行否则梯度会在多个 batch 之间累积导致更新方向严重偏离。6. 从神经网络到卷积神经网络视觉任务的默认选择6.1 全连接网络为什么不适合图像理解了神经网络之后一个自然的问题是直接用全连接网络处理图像行不行理论上可以但实际效果很差。根本原因是参数量太大。假设输入是一张 (224 \times 224) 的彩色图片展开成向量就是 150528 个像素。全连接网络的第一个隐藏层如果有 1024 个神经元那这一层的参数量就超过 1.5 亿训练代价和过拟合风险都不可接受。而且全连接网络还有一个结构性缺陷它把图像展开成一维向量时彻底破坏了像素之间的空间位置关系。对于图像任务来说“相邻像素更相关”这个先验信息被忽略了。卷积神经网络正是在这个背景下出现的。6.2 卷积的两大核心设计卷积网络与全连接网络最大的区别在于两个设计局部连接和权重共享。局部连接指的是每个神经元只和输入的一个局部区域相连这个区域被称为感受野。它模拟了视觉皮层细胞对局部刺激敏感的特点也大幅减少了参数数量。权重共享指的是同一层卷积核在图像的不同位置使用同一组权重。这意味着同一个卷积核可以检测整张图像中同一种特征模式比如边缘、角点、纹理。无论目标出现在图像的左上角还是右下角检测能力不会受影响。再加上池化层的下采样操作卷积网络逐步把大尺寸图像压缩成高语义特征图最后通过全连接层或全局平均池化输出分类结果。这就是 LeNet、AlexNet 等经典网络的基本骨架。6.3 一个简单的 CNN 模型定义在 PyTorch 中一个简单的卷积网络可以这样定义import torch.nn as nn class SimpleCNN(nn.Module): def __init__(self, num_classes10): super().__init__() self.features nn.Sequential( nn.Conv2d(1, 32, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), nn.Conv2d(32, 64, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2) ) self.classifier nn.Sequential( nn.Flatten(), nn.Linear(64 * 7 * 7, 128), nn.ReLU(inplaceTrue), nn.Linear(128, num_classes) ) def forward(self, x): x self.features(x) x self.classifier(x) return x这段代码定义了适合 MNIST 数据集的简单 CNN。两个卷积层负责提取特征两个池化层降低特征图尺寸最后的全连接层负责分类。它和你前面看到的 MLP 结构并没有本质区别只是在特征提取阶段把全连接换成了卷积。7. 神经网络训练的最小可跑示例这一节我们用 PyTorch 跑通一个完整的 MNIST 数字识别任务。MNIST 是计算机视觉里最常用的入门数据集握手写数字图片通道数为 1图片大小是 (28 \times 28)。7.1 环境准备建议使用 Python 3.8 及以上版本并安装 PyTorch 和 TorchVision。具体版本以实际情况为准这里演示的是通用流程。pip install torch torchvision如果网络环境下载慢可以考虑配置国内镜像源。这里不做死命令推荐确保三个库能被正常导入即可。7.2 数据加载与预处理import torch from torch.utils.data import DataLoader from torchvision import datasets, transforms transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ]) train_dataset datasets.MNIST( root./data, trainTrue, downloadTrue, transformtransform ) test_dataset datasets.MNIST( root./data, trainFalse, downloadTrue, transformtransform ) train_loader DataLoader(train_dataset, batch_size64, shuffleTrue) test_loader DataLoader(test_dataset, batch_size64, shuffleFalse)这里最关键的一步是Normalize。MNIST 数据集的像素范围是 0 到 255转成 Tensor 后变到 0 到 1再用均值 0.1307 和标准差 0.3081 做标准化。标准化可以让数据分布更稳定帮助梯度下降更好收敛。很多初学者 loss 不下降第一步就要检查数据是否做了归一化。7.3 模型定义与训练循环这里用一个两层 MLP 就够了重点在于把训练流程跑通。import torch.nn as nn import torch.optim as optim class MLP(nn.Module): def __init__(self): super().__init__() self.net nn.Sequential( nn.Flatten(), nn.Linear(28 * 28, 128), nn.ReLU(inplaceTrue), nn.Linear(128, 10) ) def forward(self, x): return self.net(x) model MLP() criterion nn.CrossEntropyLoss() optimizer optim.Adam(model.parameters(), lr0.001) def train_one_epoch(model, loader, criterion, optimizer): model.train() total_loss 0 correct 0 total 0 for images, labels in loader: optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() total_loss loss.item() _, predicted outputs.max(1) total labels.size(0) correct predicted.eq(labels).sum().item() print(fLoss: {total_loss / len(loader):.4f}, Acc: {100.0 * correct / total:.2f}%) for epoch in range(3): train_one_epoch(model, train_loader, criterion, optimizer)训练循环中的几个细节值得注意model.train()把模型切换到训练模式这会影响 Dropout 和 BatchNorm 等层的行为optimizer.zero_grad()必须每轮都执行否则梯度会跨 batch 累积outputs.max(1)取每个样本预测概率最大的类别作为预测结果。7.4 测试与验证训练结束后在测试集上做一次评估def evaluate(model, loader): model.eval() correct 0 total 0 with torch.no_grad(): for images, labels in loader: outputs model(images) _, predicted outputs.max(1) total labels.size(0) correct predicted.eq(labels).sum().item() print(fTest Acc: {100.0 * correct / total:.2f}%) evaluate(model, test_loader)注意这里必须使用model.eval()和torch.no_grad()它们分别用来关闭训练阶段特有行为以及关闭梯度跟踪节省内存并保证验证结果稳定。8. 训练结果如何判断与常见问题排查训练结束后怎么判断模型学得好不好首先看训练日志。Loss 应该随着 epoch 增加而下降训练准确率应该逐步上升。如果前几个 epoch 的 loss 明显下降说明梯度更新方向基本正确。如果 loss 完全不动或者出现 NaN、剧烈震荡说明训练没有正常进行。其次看测试集准确率。如果训练集准确率已经很高但测试集准确率远低于训练集说明出现了过拟合如果两者都低说明模型欠拟合需要增加容量或调整超参数。下面整理几个最常见的训练问题按排查顺序排列问题现象可能原因排查方式解决方案Loss 一直不下降数据未归一化打印输入数据的均值与方差检查是否过小或过大用 Normalize 做标准化或缩放像素到 0-1Loss 出现 NaN学习率过大或梯度爆炸观察 loss 是否突然发散降低学习率或对梯度做 clip训练集准确率高测试集准确率低过拟合对比训练集和测试集准确率差值增加 Dropout降低模型容量增加数据增强准确率稳定在 10% 左右模型没有学到有效特征检查标签是否错位数据加载是否正常可视化几个 batch 的图片和标签训练速度极慢网络参数量过大或优化器配置不当观察 batch 处理耗时减少 batch size简化网络结构损失反复震荡学习率偏大或 batch size 过小记录每个 epoch 的 loss 曲线降低学习率增大 batch size此外梯度消失是深层网络里非常常见的现象。症状是浅层参数几乎不更新、训练过程极其缓慢。解决办法包括把 Sigmoid/Tanh 换成 ReLU 类激活函数、加入 Batch Normalization、使用残差连接、合理初始化参数。如果你用的是 GPU 训练但显存占用异常高优先检查 batch size 和输入图像尺寸。这两者直接决定特征图的显存消耗。9. 工程实践建议与后续学习方向9.1 工程实践建议把模型跑通只是第一步。如果你要把神经网络应用到真实项目下面这几个工程习惯建议尽早养成。第一固定随机种子。神经网络初始化有随机性同一个模型不同次训练结果可能不同。为了实验可复现建议在训练前固定所有随机源import random import numpy as np import torch def set_seed(seed42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) if torch.cuda.is_available(): torch.cuda.manual_seed_all(seed)第二不要手工实现数据增强和预处理流水线优先使用框架自带的工具。TorchVision 提供了丰富的 Transform包括随机裁剪、随机翻转、颜色抖动等。它们不仅有性能优化还能避免很多边界问题。第三训练时保存日志和模型权重。建议在训练过程中把训练损失、验证准确率记录到一个文件里并且每个 epoch 保存一次模型权重。这样即使训练中途中断也能从最近的 checkpoint 恢复而不是从头再来。第四注意训练集、验证集、测试集的划分。验证集用于调参和选择模型测试集只能用于最终评估。如果在调参过程中反复使用测试集测试集就失去了“未见数据”的意义评估结果会偏乐观。第五使用 GPU 训练时注意把模型和数据都迁移到 GPUdevice torch.device(cuda if torch.cuda.is_available() else cpu) model.to(device) images images.to(device) labels labels.to(device)这行代码看起来简单但漏掉它你就只能在 CPU 上慢慢跑。而且模型在 CPU数据在 GPU或者反过来会出现运行时错误。排查这类问题的时候第一反应应该是检查 device 是否一致。9.2 从神经网络出发的下一步路线神经网络这一讲是计算机视觉学习路线中的承上启下环节。往前你可以复习线性代数和概率论基础把矩阵乘法、偏导数、最大似然估计这些数学工具补牢往后你可以往三个方向深入卷积神经网络理解 VGG、ResNet、EfficientNet 等结构如何在神经网络基础上演进重点看残差连接和 Normalization 的设计目标检测与分割从 Faster R-CNN、YOLO、U-Net 等经典模型入手理解神经网络输出如何被进一步解析为边界框和像素级掩码Transformer 与基础模型ViT 把图像当成序列处理本质上仍然是在训练大规模神经网络只是把卷积结构换成了注意力机制。无论选择哪个方向你都需要反复回到这一讲提到的核心概念权重和偏置决定了网络状态损失函数定义了学习目标反向传播和梯度下降完成了状态更新。这三件事贯穿所有深度学习模型。最后想提醒一句这篇文章给你搭好的是骨架真正把神经网络内化成直觉的方式还是亲手把代码跑一遍刻意改坏某个环节再观察结果。比如把学习率从 0.001 改成 0.1看 loss 如何震荡把激活函数从 ReLU 换成 Sigmoid看深层网络的收敛速度变化。这种“故意弄坏”的实验往往比从头到尾跑通一遍学到更多。
