专栏名称: 机器学习研究会

机器学习研究会是北京大学大数据与机器学习创新中心旗下的学生组织，旨在构建一个机器学习从事者交流的平台。除了及时分享领域资讯外，协会还会举办各种业界巨头/学术神牛讲座、学术大牛沙龙分享会、real data 创新竞赛等活动。

机器学习教材中的 7 大经典问题

机器学习研究会 · 公众号 · AI · 2017-08-23 22:42

正文

请到「今天看啥」查看全文

这是最有名错误判断，现在的教科书几乎已经不再有这样的结论，但如果看15年、20年前的机器学习教科书，会有一个很有趣的结论：神经网络不能超过三层。这和我们现在说的深度学习是矛盾的，深度学习现在大家比拼的不是神经网络能不能超过三层，而是能不能做出一百层、一千层或者更多。

那为什么之前的教科书上会写神经网络不能超过三层，这就要从神经网络的历史说起。五十年代有位科学家叫 Marvin Minksy，他是一位生物学家，数学又很好，所以他在研究神经元的时候就在想能不能用数学模型去刻画生物的神经元，因此就设计了感知机。感知机就像一个神经细胞，它能像神经细胞一样连起来，形成神经网络，就像大脑的神经网络。其实在60年代开始的时候，是有很深的神经网络，但当时经过大量实验发现，不超过三层的神经网络效果不错，于是大概到80年代时就得出结论：神经网络不宜超过三层。