一名工程师对于深度学习的理解－神经网络基础ANN

正文

请到「今天看啥」查看全文

而神经元一般都使用sigmoid函数，至于为什么使用sigmoid函数，也是个很有探讨意义的问题，具体可以看这篇文章了解sigmoid的特性，http://www.tuicool.com/articles/uMraAb。

其中，w表示权重向量，x表示输入向量，b为该节点的阈值。

那么下面问题就是如何选择合适的权重和阈值，构建出来合适的网络。

构建合适的网络

网络结构往往决定了算法复杂度和模型可调度，输出层主要由向量决定，输出层主要由预测类型决定，主要问题就在中间层数和节点数的选择上，节点数和层数越多意味着模型可调节性越强，预测结果的粒度越细，但同时也意味着计算复杂度越高。经验中间层一般选1-2层，节点数作为可调参数。

选择合适权重和阈值

首先，定义损失函数，损失函数的意义在于对于训练集评价预测结果和真实结果之间的差异：

该损失函数其实是预测结果与真实结果之间的方差

我们希望通过调整权重w和阈值b的值来使预测结果和真实结果之间的差更小。相当于在一个解空间中寻找最优解。解法有很多，如梯度下降法，拟牛顿法等。

梯度下降法

请到「今天看啥」查看全文