深度学习简易入门

正文

请到「今天看啥」查看全文

，其中的神经元被称为输入神经元（input neurons）。最右边的一层是 输出层 （output layer），包含的神经元被称为输出神经元(output neurons)。网络中间的一层被称作 隐层 （hidden layer），在一些网络中往往有多个隐层。我们可以看到，输入向量连到许多神经元上，这些神经元的输出又连到一堆神经元上，这一过程可以重复很多次。数值向量在不同神经元之间传导。

但是，我们刚刚分析了神经元，神经元的变换是完全的线形的，如果神经网络的每层都只是做线性变换，多层输入叠加后也还是线性变换。因为线性模型的表达能力不够，所以需要激活函数来引入非线性因素。举个栗子，常用的激活函数sigmoid 函数，可以将实数压缩到[0,1]之间。激活函数是神经网络强大的基础，好的激活函数（根据任务来选择）还可以加速训练。

接下来，确定了神经网络的连接方式、网络的层数、每层的节点数，建好网络模型之后，我们要开始学习这个神经网络的每个连接上的权值了。

训练网络（training）

训练过程就是用训练数据的input经过网络计算出output，再和label计算出loss，再计算出gradients来更新weights的过程。label就是训练集里预先加上的分类标记，loss就是你算出的结果与正确结果（正确为1，错误为0）的误差，或者叫损失。

那么training其实就是通过梯度下降法尽可能缩小loss的过程。如下图所示，我们希望loss值可以降低到右侧深蓝色的最低点。

具体步骤如下：

• 正向传递：算当前网络的预测值 （Relu是一种激活函数，Wh1、Wh2、W0是权重，b是偏移量）

• 计算loss：

• 计算梯度：从loss开始反向传播计算每个参数（parameters）对应的梯度（gradients）。这里用Stochastic Gradient Descent (SGD) 来计算梯度，即每次更新所计算的梯度都是从一个样本计算出来的。

• 更新权重：这里用最简单的方法来更新，即所有参数都
  

• 预测新值：训练过所有样本后，打乱样本顺序再次训练若干次。训练完毕后，当再来新的数据input，就可以利用训练的网络来预测了。这时的output就是效果很好的预测值了。

PS 以上理论知识和公式来自斯坦福大学计算机视觉实验室推出的课程CS231n: Convolutional Neural Networks for Visual Recognition

调戏Tensorflow Playground

接下来，摩拳擦掌想要试一试深度学习的朋友们可以试着调戏一下TensorFlow Playground。TensorFlow游乐场是一个通过网页浏览器就可以训练的简单神经网络，并实现了可视化训练过程的工具。下图就是TensorFlow游乐场默认设置的截图。

请到「今天看啥」查看全文