盘点 | 2016深度学习重大进展：从无监督学习到生成对抗网络

正文

请到「今天看啥」查看全文

最近一种被称为生成对抗网络的生成模型被广泛的提及，这个模型是在原生成模型的基础上提出的。GAN 可以实现能解决无监督学习问题的模型。GAN 的网络结构是具有颠覆性的，Yann LeCun 在一次关于这个研究的演讲中如此评论：「GAN 是机器学习过去的 20 年里最重要的思想之一。」

尽管在 2014 年 Ian Goodfellow 就提出了 GAN，研究者们直到现在（2016 年）才看到 GAN 的真正潜力。基于 GAN 的更好的训练模型的方法已经出现了，深度卷积式的 GAN（Deep Convolutional GAN）也在今年被提出，这个更加优化的 GAN 模型已经解决了一些之前限制深度学习发展的难题。不仅如此，一些新的应用（我们稍后提供名单）表明这个模型非常强大且灵活。

一个直观的例子解说

试想如下情境，一个很有野心的画家从事名画赝品交易（称之为 G），同时另有一个人（称之为 D）以鉴别画的真伪为生。我们设想先让 D 观摩（即机器学习里的 learning）了一些毕加索的画作，当 D 对毕加索的作品有了一定的认知之后，G 尝试用他的毕加索画作赝品来愚弄 D，让 D 相信他的赝品是毕加索的真作。有时候 G 能够成功的骗过 D，但是随着 D 对毕加索的作品的了解的加深（即机器学习里学习的样本数据越来越多），G 发现越来越难以愚弄 D 了，所以 G 也在不断提升自己仿制赝品的能力。如此多次，不仅 D 已经很精通毕加索作品的鉴别，同时 G 对毕加索作品的伪造技术也大为提升。这就是 GAN 模型的初始想法。

从机器学习的模型构建来说，GAN 模型包涵了两个持续相互博弈的神经网络（这也是被称为「对抗」模型的原因）：一个生成器（G）和一个鉴别器（D）。输入一组训练数据（如图像），并假设这些图像服从某种分布（x）。在 GAN 网络中，G 会输出一组分布结果而 D 则会判定这个分布是否来自于同一个训练集。

刚开始训练的时候，G 会从一些噪声（z）开始生成得到生成的图像 G(z)。D 则会得到来自真实分布（x）的图像和来自 G 生成的图像（G(z)），然后需要将它们分类成 D(x) 和 D(G(z))。

图：GAN 的工作方式

D 和 G 同时进行学习，一旦 G 被训练而对训练样本的分布有了足够的了解，它就可以生成有类似特性的新样本：

GAN 生成的图像

这些图像由在 CIFAR-10 上训练的一个 GAN 生成。如果你注意细节，你会发现它们并非真正的物体。然而，它们捕捉到了让自己看起来真实的一些概念。

InfoGAN

近期的进展对 GAN 的思想进行了延展，让其不仅可以用于近似数据的分布，还能学习数据的可解释的、有用的表征。这些我们希望得到的表征需要捕捉到丰富的信息（和自动编码器中的一样），也需要是可解释的，也就是说我们要能够区分导致了生成的输出中特定类型的变换的向量部分。

InfoGAN 模型由 OpenAI 研究员在 8 月份提出，其目标就是为了解决这个问题。简言之，InfoGAN 能够以无监督的方式生成包含数据集相关信息的表征。例如，当被应用于 MNIST 数据集的时候，它能够在不需要人工标记数据的情况下推断出数字的类型（1、2、3……）、生成的样本的转动（rotation）与宽度（width）。

请到「今天看啥」查看全文