AI侦探敲碎深度学习黑箱

正文

请到「今天看啥」查看全文

Marco Ribeiro是西雅图市华盛顿大学的一名毕业生，试图通过一种被称为“反事实探针”的神经科学工具打开黑箱。其想法是通过聪明的方式改变AI的输入以查看有哪些变化以及如何影响输出。

例如，Ribeiro的程序LIME会把一个影评标注为积极，并对文字稍作修改以创造新变体。接着这些变体被输入黑箱以查看其是否依然被标注为积极。结果显示LIME可以辨别词语——或者部分图像、分子结构，再或者任意类型的数据——这在AI的最初判断中至关重要。

不过，LIME等新反事实方法似乎每月都会出现。但谷歌计算机学家Mukund Sundararajan发明了另一种探查方法，它无需对网络进行数千次测试——如果你正在尝试理解很多决策，这绝对是一个福利。

Sundararajan团队并不是通过随机调变输入，而是引入一个空白的引文——一张纯黑图像或者一个代替文本的零排列数组——并将其一步一步向测试的实例转化。通过在网络中运行每一步，他们观察其确定的跳跃，并通过轨迹推论出对于预测的重要特征。

Sundararajan对比了这一过程，找出了辨识其所在的玻璃墙空间的关键特征：杯子、桌子、椅子和电脑的标准组合。“我可以给出无数理由。”但当你慢慢调暗灯光。当灯光变的非常暗淡，只有最大的原因才凸显出来。这些转化允许Sundararajan比Ribeiro的变体捕捉到更多的网路决策。

但是更深的、未解答的问题依然存在，Sundararajan说。

这一问题并非只来自科学。根据欧盟的一项指令，那些部署持续影响大众的算法的公司必须在来年对其模型的内在机制做出解释。美国国防高级研究计划署也正在向“可解释AI”的新计划投入7000万美元，试图解释用于无人机和情报挖掘作业的深度学习。谷歌机器学习研究者Maya Gupta也表示，打开黑箱的驱动同样来自硅谷内部。

她于2012年加入谷歌，当时询问过AI工程师的关注问题，她发现精度并不是他们唯一关心的。工程师们告诉Gupta:“我们并不确定网络在做什么，我们不太信任它。”

今天的神经网络要比之前复杂得多，但其本质是相同的。一端是数以百万计的杂乱数据(比如狗的照片)。这些数据会被输入具有十几个或更多层的网络中，其中的神经形式连接会响应数据中的特征。每一层都会把内容抽象一点，最后一层解释出最终判断，如从梗犬中辨别出腊肠犬。

一开始，系统或许十分笨拙。但每次结果都会与标记好的狗图片进行对比。在一种被称为反向传播的过程里，结果会通过网络向前发送。这一过程会重复数百万次，直到整个网络学会识别不同品种的狗。“使用现代技术和大胆的尝试，你可以让它们真正地工作起来。”微软雷德蒙德研究院计算机科学家Rich Caruana说。然而，这种神秘而灵活的力量也让网络变成了黑箱。

Gupta对于处理黑箱问题有不同的策略：她尝试绕开这些问题。几年前，Gupta开始了一个名为GlassBox的项目。她的目标是将工程化的可预测性纳入神经网络而对其进行解释。她的指导原则就是单调性，即变量之间的相关性问题。

请到「今天看啥」查看全文