深度学习的难点

正文

请到「今天看啥」查看全文

图1 左图：一个凸函数。右图：一个非凸函数。凸函数比非凸函数更容易找到函数曲面的底部（来源：Reza Zadeh）

下一步自然就是在保持单层神经网络的情况下添加更多的神经元。对于 单层n节点感知器 的神经网络，如果存在边权重可以使得神经网络能正确地对训练集进行分类，那么这样的边权重是可以通过 线性规划 在多项式时间O(n)内找到。线性规划也是凸优化的一种特殊情况。这时一个问题应运而生：我们可以对更深的多层神经网络做出这种类似的保证么？不幸的是，不能。

为了可证明地解决两层或多层的一般神经网络的优化问题，需要的算法将会遇到某些计算机科学中最大的未解问题。因此我们对机器学习研究人员尝试找到可证明地解决深度神经网络优化问题的算法不抱有太大的希望。因为这个优化问题是 NP-hard 问题，这意味着如果在多项式时间内可证明地解决这个问题，那么也可以解决那些几十年来尚未被解决的成千上万的问题。事实上， J. Stephen Judd 在1988年就发现下面这个问题是NP-hard问题：

请到「今天看啥」查看全文