MIT在读博士心得：做好AI科研，你需要注意什么？

大数据实验室 · 公众号 · 大数据 · 2018-05-04 07:30

正文

请到「今天看啥」查看全文

与不同研究领域的人交流 。多询问他们感兴趣的问题，并试着用计算机领域的专业术语来重述这些问题。多询问他们有没有想要分析但是用现有技术难以解决的数据集。机器学习中最有影响力的工作很多来自于计算机与生物/化学/物理学、社会科学或纯数学之间的碰撞。例如 Matthew Johnson 等人在 NIPS 2016 上发表的论文（Composing graphical models with neural networksfor structured representations and fast inference，https://arxiv.org/pdf/1603.06277.pdf ），就是受一个小鼠行为数据集启发的结果；再比如 Justin Gilmer 等人在 ICML 2017 会议上的论文（Neural Message Passing for Quantum Chemistry，https://arxiv.org/pdf/1704.01212.pdf ），该工作将机器学习方法应用在了量子化学的研究中。

编写一份简单的 baseline 代码来感受这个问题 。例如，尝试编写一些控制倒立摆的代码，并进行仔细地校准，或者试试看能不能在自然语言数据集上实现一个词袋模型。编写 baseline 时，我常常遇到一些出乎意料的情况——心智模型（mental model）或代码中存在错误。就算我的 baseline 代码可以运行了，我通常还会尝试一些其他的想法，以此对问题有更深的理解。

扩展你喜欢的论文的实验部分 。仔细阅读那些论文的方法和结果。尝试找到其中最有价值的部分。首先我们可以考虑一些最简单的扩展，问问自己：论文中的方法是否适用。然后可以考虑一下文章没有讨论过的 baseline 方法，并想一下这些方法可能会在哪里失败。

掌握可视化工具和技能

在写代码时，我通常采用的策略是先从创建可视化脚本开始。当写完其他代码后，可视化脚本可以帮助我快速验证代码是否和心智模型相匹配。更重要的是，和其他方法相比，良好的可视化常常可以让我更容易发现思维或代码中的错误。还有一点原因就是自我激励：每当我完成一份代码时，我都可以拿出一份漂亮的图表或视频来向大家炫耀！

当然，针对手头的问题进行正确的可视化可能还需要一些技巧。如果是迭代优化模型（如深度学习），可以先从绘制损失函数曲线开始。此外还有很多技术也可以用来进行（特别是卷积）神经网络的习得权重的可视化以及解释，例如导向反向传播（https://arxiv.org/pdf/1412.6806.pdf ）。

在强化学习和规划中，需要可视化的事情则显而易见，就是智能体在环境中的行为，比如 Atari 游戏，机器人任务或简单的 Grid World（例如 OpenAI Gym 中的环境）。通过不同的设置，我们还可以将价值函数及其在训练过程中的变化（如下所示）进行可视化，或可视化已遍历的状态树。

在处理图模型时，对一维或二维变量在推理时分布的变化进行可视化，可以获得很多的信息（如下所示）。衡量可视化技术有效性的一种方法就是，估计你每次分析可视化时脑海中需要提前掌握的信息量。糟糕的可视化结果会需要你对写过的代码进行详细的回顾，而一个好的可视化结果则会让结论呼之欲出。