原创｜科普揭秘：神经网络的前向传播与后向传播

正文

请到「今天看啥」查看全文

• Tanh：把数压到-1到1之间，像“放大缩小”。

输出层：

迷宫的出口，给出最终答案。

• 分类任务：用 Softmax，把数字变成概率，比如“这张图80%是猫，20%是狗”。

• 回归任务：直接输出数字，比如 “预测房价是120万”。

举个栗子：

输入一张猫的图片 → 卷积层找边缘 → 池化层缩小图片 → 再卷积层找猫耳朵 → 全连接层判断“是猫”。

二、后向传播：网络怎样 “自我学习”

前向传播是 “做题”，后向传播是“改错”。

计算 “错题分”（损失函数）：

• 均方误差（ MSE）：预测值和真实值的平均差距，适合回归任务。

• 交叉熵损失：预测概率和真实标签的差距，适合分类任务。

找 “错题原因”（梯度计算）：

用链式法则，像剥洋葱一样层层找原因。

从输出层开始，问： “这个结果错了，是因为哪个参数没调好？”

反向传播误差，告诉每个神经元 “你该改多少”。

改 “错题”（参数更新）：

用优化算法，比如梯度下降：

• 想象在山顶放小球，小球沿着最陡的路（梯度）滚下山，直到找到最低点（最优解）。

• 学习率：小球滚的速度，太大可能跳过最低点，太小下得慢。

常用优化器：

• SGD：基础款，但容易卡在沟里。

• Adam：结合动量和历史信息，像自动驾驶调整方向。

• RMSProp：平衡历史梯度，适合复杂地形。

三、训练循环：像教孩子反复练习

准备数据 ： 分训练集（练习题）、验证集（模拟考）、测试集（期末考）。

小批量学习 ：

请到「今天看啥」查看全文