正文
【新智元导读】
本文作者 Michael Elad 是以色列理工学院计算机科学系教授，也是成像科学期刊 SIAM 的主编。他对当前图像领域使用深度学习的矛盾做了深刻的反思：一方面效果绝佳，另一方面却缺乏数学上的优雅，对领域基础知识没有很大贡献。是该坚守传统严谨的方法，但在最终结果上落后于人，还是该拥抱深度学习？Elad 选择后者，但同时坚守寻求数学上的优雅，弄清方法的原理。所有人工智能从业者都需要考虑如何对待深度学习。欢迎留下你的看法和评论。
（文／
Michael Elad
）我真的很迷茫，每天都在改变自己的看法，似乎对这个难题就是拿不出一个坚定的主意。不不不，我不是在说国际政治或现任美国总统，我说的是对全人类更重要的一件事，具体说，是事关我们这些工程师和研究人员生死存亡的事。我说的……是深度学习。
虽然你可能觉得上面的话说得过于夸张，但深度学习确实带来了一些我们不得不去解决的重要问题。下面我将具体讲一下这个跟这个领域相关的一个关键问题，与图像处理领域的研究人员相关。
首先，让我们先简单对深度学习做个定义。神经网络已经存在了数十年，提出了一种通用的学习机制，原则上可以适用于任何能够被学习的数据源。在神经网络的前馈架构中，感知机层（也被称为神经元）首先对输入进行加权平均，接下来非线性的运算，例如 sigmoid 或整流线性曲线（rectified-linear curves）。你可以训练这个简单到令人惊讶的系统，将给定输入数据集和期望的输出匹配起来，从而解决各种监督的回归和分类问题。
所有这一切听起来都很棒，但不幸的是，神经网络这个概念在 20 世纪 80 年代和 90 年代没有火起来——在当时，神经网络的性能根本没有什么竞争力。另外，用于学习任务的支持向量机（SVM）的出现，伴随着坚实的理论基础和凸优化方法，似乎为“神经网络无用”一说盖棺定论。最终，神经网络进入了很长的冬眠期。只有少数坚持不懈的研究人员——Yann LeCun（纽约大学和 Facebook）、Geoffrey Hinton（多伦多大学）、Yoshua Bengio（蒙特利尔大学）和 Jürgen Schmidhuber（Dalle Molle 人工智能研究所）——还留在这个舞台上，持续不断地试图说服众人这个看似注定失败的方法实际上能做得更好。他们的努力产生了一些重要的结果，比如卷积神经网络（CNN）和长短期记忆网络（LSTM）架构。但是，他们还是少数派。然后，神经网络突然杀了个回马枪，为这些人出了一口大气。
21 世纪初期的一系列论文表明了神经网络这种架构的成功应用，并在几乎所有任务中都取得了最好的结果。这些贡献的关键内容包括：使用许多层网络，这也是“深度学习”这个术语的由来；大量的训练数据；大规模的计算，通常在计算机集群或 GPU 上运行；以及采用有效初始化和随机梯度下降学习这些明智的优化算法。但不幸的是，所有这些伟大的实际成就都几乎没有理论或基本范式的理解。此外，从理论上看，在学习过程中所采用的优化方法是高度非凸（highly non-convex）和难解的（intractable）。
神经网络的成功应用始于手写数字的识别（参见图1），慢慢地但十分谨慎地转向更具挑战性的视觉、语音识别和自然语言处理任务，自此以后，几乎所有可以作为监督学习的任务都见得到神经网络的身影。像谷歌、Facebook 和微软这样的公司很快就意识到了这一领域的潜力，投入了大量的人力和财力去掌握这些工具并探索其在产品中的应用潜力。在学术方面，信号处理、图像处理和计算机视觉相关会议已经成为深度学习的主场，使用这种方法的工作越来越多。
图1：神经网络表现出了巨大的潜力，首先是在人物识别领域，随后还有许多其他任务上也表现优异。图片来源：Michael Elad。
深度学习在图像处理领域大放异彩，但我们该感到高兴吗？
