深度 | Yoshua Bengio AIWTB大会解读深度生成模型：让机器具备无监督学习能力

正文

请到「今天看啥」查看全文

Bengio 演讲的视频：

以下为该演讲的内容详情整理：

演讲主题：深度生成模型。在这张幻灯片上，我们可以看到 Bengio 任职的多个机构，包括蒙特利尔学习算法研究所（MILA）、蒙特利尔大学、加拿大高等研究院（CIFAR）、IVADO。右下角可以看到他与另外两位学界领军人物 Ian Goodfellow 和 Aaron Courville 合著的新书《Deep Learning》，目前该书的中文印前版已经出炉并和英文版一样开放了下载，可参阅文章《 资源 |《Deep Learning》中文印前版开放下载，让我们向译者致敬 》。

智能需要知识，所以机器若想智能，就需要学习。传统人工智能的失败在于很多知识是直觉式的，难以直接编程给计算机使用。我们的解决方案是使用机器学习来从数据和经历中获取知识。

过去几年，机器学习的进展让人惊叹，但人工智能还远不及人类智能的水平：

• 目前取得了工业应用成功的人工智能大都基于监督学习；

• 学习到的都是肤浅标签的线索，难以很好地泛化到训练环境之外，训练好的网络也很容易被欺骗（比如通过调整狗照片的像素，使其被误认为是一只鸵鸟）——通过选取简单的规则就能欺骗现在的模型；

• 仍然不能在多种时间尺度上发现高层面的特征。

人类在无监督学习上的表现优于机器

• 人类非常擅长无监督学习，比如，两岁小儿也知道直观的物理作用；

• 婴儿可以得到近似的但足够可靠的物理模型，它们是怎么做到这一点的？注意他们不仅仅是观察世界，而且还会与世界进行交互。

用分布式表征对抗维度灾难

• 为了解决维度灾难和很好地泛化到训练样本之外，深度学习利用了深度分布式表征

• 分布式表征和深度利用了组合性，具有极大的优势

隐藏单元能发现有意义的概念

请到「今天看啥」查看全文