彻底搞懂深度学习-前向传播和反向传播（动图讲解）

主要观点总结

本文介绍了深度学习中模型训练的关键过程，包括前向传播和反向传播。前向传播是从输入到输出计算预测值的过程，反向传播是依据损失函数计算梯度并更新网络参数的过程。

关键观点总结

关键观点1: 前向传播

神经网络从输入层开始，经过隐藏层，最终到达输出层，产生预测值。在这个过程中，输入数据通过权重和偏置进行线性变换，然后通过激活函数进行非线性变换，得到每一层的输出。

关键观点2: 反向传播

反向传播是根据损失函数计算梯度，并据此更新网络的权重和偏置。从输出层开始，利用损失函数逐层计算各神经元的误差，再结合前一层的激活值，求出当前层权重的梯度。最后，通过优化算法利用这些梯度更新网络参数，以降低损失函数值。

关键观点3: 损失函数

在神经网络的训练过程中，需要一个衡量模型预测输出与真实输出之间差异的标准，这个标准就是损失函数。常见的损失函数包括均方误差（MSE）、交叉熵损失（Cross-Entropy Loss）等。

正文

请到「今天看啥」查看全文

在这个过程中，输入数据通过 网络中的权重和偏置进行线性变换 ，然后通过 激活函数进行非线性变换 ，得到每一层的输出。最终，输出层的输出即为神经网络的预测值。

（1）输入层接收数据

输入层是神经网络的第一层，它接收来自外部的数据。

（2）计算隐藏层输出

数据从输入层传递到隐藏层， 隐藏层中的每个神经元都会接收来自上一层神经元的输入，并计算其加权和。 加权和通过激活函数（如ReLU、Sigmoid、Tanh等）进行非线性变换，生成该神经元的输出。

（3）计算输出层输出

请到「今天看啥」查看全文