【学习】梯度下降与反向传播（上）

一、用到的概念

（ 首先用“话”来描述几个将用到的概念。这里的描述是尽量形象但是不够精确的。精确的概念只能用公式把握，但是形象的描述有利于理解公式。看到下文中的公式时，回想这些文字描述，希望能帮助抓住概念的重点。 ）

• 仿射函数：仿射函数是线性函数，它们的图形是空间中一张超平面。

• 函数可导：函数在某一点可导是指函数在这一点周围可以用一个仿射函数（超平面）来 近似 。

• 梯度：函数在某一点的梯度是一个向量，其方向是随着自变量变化函数上升最快的方向，其长度是函数在该方向上升的速率。梯度朝任一方向的投影长度是函数在该方向上的变化速率。

• 梯度下降：一种优化算法，该算法从任一自变量点开始，朝该点梯度的反方向运动一段距离，再朝新位置的梯度反方向运行一段距离，如此迭代。解一直朝当前下坡最陡的方向运动，希望能运动到函数的全局最小值。

二、仿射函数

以二元函数 为例。因为这样的函数其自变量空间是