浅析生成对抗网络

待字闺中 · 公众号 · 程序员 · 2017-02-19 09:41

正文

请到「今天看啥」查看全文

$-\nabla_{\theta_{g}} \frac{1}{m}\sum_{i=1}^m log(D(G(z^{(i)})))$

其中， $z^{(i)}$ 是从隐随机变量分布 $p_g(z)$ 中抽样的 $m$ 个样本 $\{z^{(1)}, z^{(2)}, \ldots, z^{(m)}\}$ ，它是生成模型的输入。对机器学习不是很了解的读者可能无法理解这个优化目标是如何形成的，其实这其中的原理很简单。

$G(z^{(i)})$ 是指生成模型以隐随机变量为输入，生成一个对真实数据分布的估计。理论上来说，通过不断地学习，生成的数据样本应该越来越接近真实的数据分布。然后，判别模型以生成模型的输出作为输入，并输出一个介于0和1之间的数字。这个输出值越接近0，表示判别模型越认为输入数据是生成的，而不是真实数据。相反，输出值越接近1，表示判别模型越认为输入数据是真实数据的抽样而不是生成的。因此，从生成模型的角度来讲，它希望判别模型的输出值越接近1越好。这样就意味着自己生成出来的数据越来越接近真实数据分布。由于0和1之间的差距很小，为了放大这种差异，加速网络训练的进程，我们对判别模型的输出值取对数。对数函数 $-log(x)$ 的图像如下图所示：