学界 | CMU论文盘点深度学习的起源：从亚里士多德到生成对抗网络

机器之心 · 公众号 · AI · 2017-03-01 13:47

正文

请到「今天看啥」查看全文

引言

在目标检测、语音识别、机器翻译等许多不同的人工智能任务中，深度学习已经极大地提升了这些任务上的最佳表现水平（LeCun et al., 2015）。其深度架构的本质赋予了深度学习解决许多更加复杂的人工智能任务的可能性（Bengio, 2009）。由此，研究者在将深度学习应用到目标检测、面部识别或语言模型等传统任务的同时，也在将其扩展到许多不同的现代领域和任务中，比如 Osako et al. (2015) 使用循环神经网络来给语音信号降噪，Gupta et al. (2015) 使用堆栈自编码器（stacked autoencoders）来发现基因表达的聚类模式，Gatys et al. (2015) 使用一种神经模型来生成不同风格的图像，Wang et al. (2016) 使用深度学习来实现同时对多个模式的情感分析等等。这段时间是见证深度学习研究蓬勃发展的时代。

但是，为了从根本上推动深度学习研究的前沿进展，研究者需要透彻地理解历史上出现过哪些尝试以及当前的模型具有当前的形式的原因。这篇论文总结了多种不同的深度学习模型的演化历史，并解释了这些模型背后的主要思想以及它们与之前的思想的关系。要理解过去的工作并不容易，因为深度学习已经演化了很长一段时间，如表 1 所示。因此，这篇论文的目标是为读者提供一个深度学习研究领域重大里程碑的概览。我们将会覆盖表 1 中的里程碑，同时还会提及许多其它工作。为了表达清晰，我们将这个演化故事分成了不同的章节。

该论文所覆盖的主要里程碑：

Aristotle（300BC）：提出联结主义，开启了人类试图理解大脑的进程。
Alexander Bain（1874）：提出了神经群组（Neural Groupings）作为神经网络最早的模型，启发了 Hebbian 学习规则（Hebbian Learning Rule）的构建。
McCulloch & Pitts（1943）：提出了 MCP 模型，该模型被认为是人工神经模型的原型。
Donald Hebb（1949）：他被奉为神经网络之父，因为其提出了 Hebbian 学习规则（Hebbian Learning Rule），奠定了现代神经网络的基础。
Frank Rosenblatt（1958）：率先提出了感知器（perceptron），其非常类似于现代感知器。
Paul Werbos（1974）：提出反向传播算法。
Teuvo Kohonen（1980）：提出自组织映射（Self Organizing Map）。
Kunihiko Fukushima（1980）：提出 Neocogitron，启发了卷积神经网络的构建。
John Hopfield（1982）：提出了 Hopfield 网络。
Hilton & Sejnowski（1985）：提出玻尔兹曼机（Boltzmann Machine）。
Paul Smolensky（1986）：提出 Harmonium，后来被称为受限玻尔兹曼机（Restricted Boltzmann Machine）。
Michael I.Jordan（1986）：提出并定义了循环神经网络（Recurrent Neural Network）。
Yann LeCun（1990）：提出 LeNet，展示了深层神经网络实践的可能性。
Schuster & Paliwal（1997）：提出双向循环神经网络（Bidirectional Recurrent Neural Network）。
Hochreiter & Schmidhuber（1997）：提出 LSTM，解决了在循环神经网络梯度消失（vanishing gradient）的问题。
Geoﬀrey Hinton（2006）：提出深度信念网络（Deep Belief Networks），也引入了逐层预训练技术，开启现在的深度学习时代。
Salakhutdinov & Hinton（2009）：提出深度玻尔兹曼机。
Geoﬀrey Hinton（2012）：提出 Dropout，一种有效的神经网络训练方法。
Kingma & Welling（2014）：提出变自编码器（Variational Autoencoder /VAE），其是深度学习和贝叶斯概率图形模型的桥梁。