正文
全自动机器学习是开发人员的梦想,谷歌已经实现了第一步——自动调参。日前,谷歌发布论文,介绍了他们内部的机器学习系统 Google Vizier,利用迁移学习等技术,Vizier 能自动优化其他机器学习系统的超参数,目前已在 Alpahbet 全面投入使用,帮助研究并且显著提升产品的用户体验。
谷歌最近开发了一个 AI,专门用于优化其他 AI。这套机器学习系统名叫 Google Vizier,能够优化整个 Alphabet 公司的算法。
值得一提,研究人员在测试这套系统时选择了一个有趣的方法——制作饼干。
现代机器学习系统的算法堪比 F1 赛车,拥有巨大的潜力,但却无比敏感,要让系统高效运作,只能不断调参——手动调参,再加上机器学习系统是“黑箱”,无法确定内部过程究竟如何,因此调参耗时耗力,还很难出结果。
一个常见的解决方法被称为“博士生下降”(grad student descent),简单说,就是找个博士生,让他一直调参,直到算法工作为止。
Google Vizier 能够自动优化机器学习系统的超参数。使用之前研究中用过的数据,Vizier 算法能够给出一个算法最优的超参数设置建议。Vizier 使用的方法之一是迁移学习,因此,当相关数据多的时候,给出的建议质量也越高。