专栏名称: 机器学习研究会
机器学习研究会是北京大学大数据与机器学习创新中心旗下的学生组织,旨在构建一个机器学习从事者交流的平台。除了及时分享领域资讯外,协会还会举办各种业界巨头/学术神牛讲座、学术大牛沙龙分享会、real data 创新竞赛等活动。
目录
相关文章推荐
宝玉xp  ·  回复@想要一架梯子:官方 github ... ·  昨天  
爱可可-爱生活  ·  [LG]《MesaNet: ... ·  3 天前  
爱可可-爱生活  ·  本文通过引入同时考量计算与内存访问成本的Ki ... ·  3 天前  
51好读  ›  专栏  ›  机器学习研究会

【学习】分析momentum在梯度下降中的作用的好文章

机器学习研究会  · 公众号  · AI  · 2017-04-06 19:11

正文

请到「今天看啥」查看全文


转自:孙明明_SmarterChina

Here’s a popular s tory about momentum [1, 2, 3] : gradient descent is a man walking down a hill. He follows the steepest path downwards; his progress is slow, but steady. Momentum is a heavy ball rolling down the same hill. The added inertia acts both as a smoother and an accelerator, dampening oscillations and causing us to barrel through narrow valleys, small humps and local minima.







请到「今天看啥」查看全文