浅析神经网络中一点优化知识

正文

请到「今天看啥」查看全文

则我们正向传播一次可以得到下面公式：

如果损失函数C定义为

那么我们希望训练出来的网络预测出来的值和真实的值越接近越好.

我们先暂时不管SGD这种方法（感兴趣的可以参考我的这篇文章 详解梯度下降法的三种形式BGD,SGD以及MBGD ），最暴力的我们希望对于一个训练数据，C能达到最小，而在C表达式中，我们可以把C表达式看做是所有w参数的函数，也就是求这个多元函数的最值问题.那么成功的将一个神经网络的问题引入到数学中最优化的路上了.

一点思考

好，我们现在顺利的将一个神经网络要解决的事情转变为一个多元函数的最优化上面来了.

现在的问题是怎么修改w，来使得C越来越往最小值靠近呢.常见的方法我们可以采取梯度下降法（为什么梯度下降法中梯度的反方向是最快的方向，可以参考我的这篇文章 为什么梯度反方向是函数下降最快的方向？ ）.

可能到这还有点抽象，下面举一个特别简单的例子.

请到「今天看啥」查看全文