正文
-
生成对抗网络（GAN）
。这个是我们今天要重点介绍的内容。
-
变分自动编码模型（VAE）
。它依靠的是传统的概率图模型的框架，通过一些适当的联合分布的概率逼近，简化整个学习过程，使得所学习到的模型能够很好地解释所观测到的数据。
-
自回归模型（Auto-regressive）
。在这种模型里，我们简单地认为，每个变量只依赖于它的分布，只依赖于它在某种意义上的近邻。例如将自回归模型用在图像的生成上。那么像素的取值只依赖于它在空间上的某种近邻。现在比较流行的自回归模型，包括最近刚刚提出的像素CNN或者像素RNN，它们可以用于图像或者视频的生成。
|
GAN热度从学术界蔓延至工业界
这三种生成模型都有各自的优缺点，然后也在不同的领域上得到广泛的关注。而今天我们要介绍的GAN实际上是一种比较年轻的方法。两年半之前， Ian Goodfellow的一篇论文首次将其引入，虽然时间很短，但我们看Google的搜索热度和Google学术上论文引用的次数，它一直受到学术界广泛的关注，而且热度一直快速增长。
除了学术界，GAN还受到工业界的广泛关注。
有许多做人工智能研究的公司正在投入大量的精力来发展和推广GAN模型
。其中包括 Ian Goodfellow 如今所在的 OpenAI 公司。这个公司一直在致力于研究推广GAN，并将其应用在不同的任务上。同时 Facebook 和 Twitter 最近两年也投入了大量的精力来研究，并将GAN应用在了图像生成和视频生成上。尤其值得一提的是，Apple最近发表了其关于人工智能研究的首篇论文，恰恰是应用GAN来做数据的生成，帮助更好地训练机器学习模型。
那么，GAN为什么会受到这样广泛的关注呢？
Goodfellow在他的论文中，给出了一些解释。
GAN是更好的生成模型，在某种意义上避免了马尔科夫链式的学习机制
，这使得它能够区别于传统的概率生成模型。传统概率生成模型一般都需要进行马可夫链式的采样和推断，而GAN避免了这个计算复杂度特别高的过程，直接进行采样和推断，从而提高了GAN的应用效率，所以其实际应用场景也就更为广泛。
其次
GAN是一个非常灵活的设计框架
，各种类型的损失函数都可以整合到GAN模型当中，这样使得针对不同的任务，我们可以设计不同类型的损失函数，都会在GAN的框架下进行学习和优化。
再次，最重要的一点是，当概率密度不可计算的时候，传统依赖于数据自然性解释的一些生成模型就不可以在上面进行学习和应用。
但是GAN在这种情况下依然可以使用
，这是因为GAN引入了一个非常聪明的内部对抗的训练机制
，可以逼近一些不是很容易计算的目标函数。
Facebook人工智能研究院的Yann LeCun也一直是GAN的积极倡导者。其中一个最重要的原因就是GAN为无监督学习提供了一个强有力的算法框架，而无监督学习被广泛认为是通往人工智能重要的一环。就像Yann LeCun所给出的一个比喻一样：
“如果人工智能是一块蛋糕，那么强化学习是蛋糕上的一粒樱桃，监督学习是外面的一层糖霜，无监督/预测学习则是蛋糕胚。目前我们只知道如何制作糖霜和樱桃，却不知如何制作蛋糕胚。“
虽然还在快速的发展当中，但是GAN确实为无监督学习，提供了一个非常有潜力的解决方案。
|
朴素GAN的基本框架
一个最朴素的GAN模型，实际上是将一个随机变量（可以是高斯分布，或0到1之间的均匀分布），通过参数化的概率生成模型（通常是用一个神经网络模型来进行参数化），进行概率分布的逆变换采样，从而得到一个生成的概率分布（图中绿色的分布模型）。
而GAN的或者一般概率生成模型的训练目的，就是要使得生成的概率分布和真实数据的分布尽量接近，从而能够解释真实的数据。但是在实际应用中，我们完全没有办法知道真实数据的分布。我们所能够得到的只是从这个真实的数据分布中所采样得到的一些真实数据。
通过优化目标，使得我们可以调节概率生成模型的参数\theta，从而使得生成的概率分布和真实数据分布尽量接近。
那么怎么去定义一个恰当的优化目标或一个损失？传统的生成模型，一般都采用数据的似然性来作为优化的目标，但
GAN创新性地使用了另外一种优化目标
。首先，它引入了一个判别模型（常用的有支持向量机和多层神经网络）。其次，它的优化过程就是在寻找生成模型和判别模型之间的一个纳什均衡。
