深度学习的“深度”有什么意义？

CDA数据分析师 · 公众号 · 大数据 · 2017-05-11 19:43

正文

请到「今天看啥」查看全文

特征=函数展开的基函数 ？数学上将基函数理解成特征是可以的，当然不必要完备，也不必要正交。比如下图，图片特征提取，稀疏编码就是在一堆特征当中寻找最少且拟合最好的特征组，前提假设是图片都可以被分解为这些特征的线性叠加。然而前提要求分解仍然是线性的，使得机器上好计算，但是实际问题需要的特征通常是不同类型的组合，强行线性组合就像是吃正宗粤菜的时候来个山东煎饼果子一样。(图取自吴恩达的slide)
特征=低维流形嵌入？ 产生成千上万个没经验证的特征总是容易的，但去除冗余特征，也就是去掉那些添不添加都不影响结果的特征，就需要相当的技巧。一种便是通过低维流形去寻找最重要的结构，这种方法可以利用多层自编码去逐层压缩维度，也可以用传统多层神经网络+Isomap类似的方法一步到位地压缩维度，然后不断调整使得嵌入低维的数据点“互相分离的最远”。由于数据点靠的近表示相似，故此这种方法能将数据本身的平移旋转按顺序嵌入到每块低维子流形当中。反过来说，如果训练数据已经包含有其本身的旋转平移，其低维子流形将会被填充得“更加的丰满”（如绿色的圆圈，因为手写数字1无论如何写都是“ |” 的某种旋转拉伸），其低维的边界就更容易被发现。然而这种方法是假设数据的可解释性隐藏在其低维流形结构上，难免让人费解，而且不同标签的嵌入子流形能否被充分分离也是非常困难的事情。（参考G.E.Hinton 06年 nature， Y LeCun，etc）
特征=数据拓扑？ 似乎研究训练数据本身复杂性的不多，都强调模型对数据的解释能力。实际上，不论任何数据，任何奇怪的类型，拓扑都是比人设模型更泛的工具。不少人直观认为拓扑学的概括性过强，用作特征没法表示数据的内禀结构。其实不然，目前比较火的，如代数拓扑里面有个 Persistent homology ，其对数据主要特征如此敏感，甚至可以用来当作蛋白质结构的拓扑指纹，有数学家通过这些指纹，甚至发现一些蛋白数据库的结构错误。（参考文献4，5）
是特征提升“深度”，还是“深度”提升特征？

深度=玻璃相转变？何为玻璃相？它对泛化误差的影响是啥？

相，作为区分两种状态的词，有个非常现实和直观的影响便是，外部条件不变的话，从一种相跨到另一种相是有很大难度的！比如水在低温会结冰，同样条件，让水不结冰的概率，虽然按照玻尔兹曼分布来看并非为零，过冷水便是一例。但这种状态是非常不稳定的，一旦扰动很快就变成冰，不可能回到液体。
相变过程=搜索能量最小点 ，这是一个粗浅的理解，在给定条件下（比如温度），相变就是从能量高的状态（低温水）找到能量低的状态（冰）。但是该过程不是直线式的下陂过程，期间要翻过一些很小的山头，描述这些小山头的阻碍我们用一个正的能量垒来表示。其阻碍时间按照阿伦尼乌斯的观点，正比于，指数型的拖延。前面的参数N用来形容山头的多寡。
玻璃相 。假设这些小山头不是一个，而是体系自由度的指数，虽然每个山头的高度不高，累计的阻碍仍然非常可观，甚至严重影响你寻找最小能量态的可能性，进入这种像踩到沥青的区域，我们用玻璃相来形容。如下图，比如蛋白质折叠的能量漏斗模型（能量 landscape ），从计算机模拟上来看，穿过玻璃转变区（glass transition）进入能量最小值是最消耗时间的一个区域。这个过程硬件提速固然重要，但是并行加速是线性的提高，只解决空间复杂，不解决时间复杂！玻璃区域是包含有时间复杂的，一旦规模巨大后，没有算法技巧，寻找能量最低点，在这种非凸的模型上，基本无望。
玻璃世界的山头类型 ，这里的山头不仅包括语义上的山，也包括低谷。数学上严格描述应该理解为梯度为零的点，梯度为零的点有两种，鞍点和极值点。梯度下降法中，鞍点总是可以找到出路的，到了极小点就无望了。物理上，鞍点数目可能会随着能量不断下降而慢慢转换成极小点，如下图便是Lennard-Jones液固转变的模拟计算（文献7），y轴描述鞍点数目，系统还没到达最小能量（变成固体）就被包围在一堆极小值附近了，这时候采用梯度下降搜索万亿年都是徒劳的。然而这也告诉我们一个希望，没必要担心局部极小，因为一旦到了真正的局部极小，也非常接近最小值了，毕竟大部分区域都是被鞍点割据着。