从深度学习中的weight sharing说说共同价值观

混沌巡洋舰 · 公众号 · 科学 · 2017-06-22 22:52

正文

请到「今天看啥」查看全文

Weight sharing 背后的哲学是复用的观念，类似于函数式编程中的高阶函数。如果你不懂高阶函数，没关系，接下来的内容保证不出现计算机领域的术语了。就如同如果一个函数本身是有用的，那么其在其他地方也应该是适用的。Weight sharing通过限制，使得神经网络在处理基础概念的底层学习时学到那些通用的普世的概念，从而简化学习的过程。正如复用函数减少的代码的复杂度，对权重的复用也可以使的神经网络变得更为健壮，使得神经网络可以在全新的场景中也表现出相同的准确性。

可是这和我们的生活有什么关系了？问问历史课本，为什么要称赞秦始皇搞得同书同文车同轴吧；或者问问标准化组织，推行同一套度量衡，对促进全球的贸易和交通有多大的助益。只有在一些基本的问题上达成共识，这个社会才可以合力处理一些更复杂的问题。那些简单的问题，类似于卷积神经网络中底层的神经元，而标准化运动和weight sharing，则有着异曲同工之妙。

不止是度量长度，我们的思想交流中也需要标准化。我们看到那些一篇文章中包含着一摞能维基出的名人，就以为这样的文章实在牛。这样的行为，和那些看到名校教授的头衔，就对其所说的话就不假思索相信的人，不过是五十步笑百步。真正看懂了某某牛人思想的人，写文章时不必在文章中列出人名来，明眼人能看出其文章受到了这些大师的影响，然后看到文章后的致谢或者引用列表，会心一笑。没有看过这些大师的人，也不会因为这些大师本来的表述习惯和时代限制而晦涩难懂，写作者自会加入自己的理解和批判，使得这些永恒的思想获得当下语境中的恰如其分的阐释。