沈向洋博士清华就职演讲全录：构建负责任的 AI

正文

请到「今天看啥」查看全文

下面我来谈谈《Engineering Responsible AI》主题下的两个话题。

构建具有可解释性的 AI

第一个话题是构建具有可解释性的 AI，这目前已经是非常活跃和热门的研究课题了。看下面一张图：横轴表示模型的解释能力，越往右，解释能力越强；纵轴与精度有关，越往上模型越准确。

在30年前，40年前这些模型尚未命名为AI，当时我们称之为使用线性回归。因为具有可解释性，线性回归非常简单。线性回归之后，我们慢慢地设计越来越复杂的模型，也就是使用了逻辑回归，决策树，然后再到广义加法模型。最后，得到了神经网络模型。

现在我们有着越来越多的深层网络，模型非常复杂，百万参数已经不算什么，带有数十亿参数的模型也已经开发了出来，所以现在的人工智能神经网络非常的难解释。现在学术界的研究方向是，要么从左侧向右侧，在保持准确率不变的同时提高可解释性；要么从下向上，在保证可解释性不变的同时提高准确率。所以大家基本上想要的是可解释并且准确的人工智能。

所以，我们有很多工作要做。下面我要展示两个关于可解释人工智能的例子。第一个例子是我微软同事所做的【提炼和比较】的工作。

人工智能这一黑匣子已经在很多场景应用了，可能你不了解他的源代码和其他东西，但却却实实在在的在使用。所以我们会担心其中是否会存在什么问题。

有一种做法是对它进行核验audit，试着进行收集更多的数据来检验模型的运行情况。然后可以从原先的复杂的模型，用“老师-学生”训练的方式提炼出一个精简的模型，然后把提炼出的这个模型和真实情况做对比。

一个独立人权组织曾在2016年进行了一项非常有趣的研究，一些法院已经用机器学习帮助法官决定判刑的刑期了。然后研究者通过收集数据，然后分析，确实发现了某些偏见，结果如下所示：

红色曲线代表从模型提取的情况，绿色曲线代表实际情况。例如，你是如何知道这个人什么时候会再次犯罪呢？那这时来回顾下过去的数据，数据显示这个人有犯罪史，这个人过去犯得罪越多，以后就越有可能犯罪。这一定程度上与第一个图形显示的结果相吻合。

但是现实的结果如何呢？来看一个机器学习系统预测的比赛，也是根据事实预测的。从图上可以看出，美国本土居民犯罪率较高，对应地，重新犯罪比率也更高（红色显示），但实际上绿线显示却与之相反，人们印象中非洲裔美国人很容易犯罪，但实际上也并非如此，也就是说尽管是基于事实进行预测，也存在着一定的偏见，所以在利用数据、使用机器学习模型时要格外谨慎。

第二个例子是真正深入研究深度学习，研究现在非常流行的深度神经网络模型，

华盛顿大学的一位博士生（毕业后加入了微软）曾经写了一篇《我为什么信任你》的论文，这篇论文中提到：我们如何透过复杂的模型了解其中的内容呢？一个复杂的模型就像黑匣子一样，我们只知道向里面输入一些东西，然后就会得到一些东西，其他一无所知。因为模型本身就非常复杂，并且是非线性的，晦涩难懂，所以很难解释。

所以他提出了一个想法，既然整个模型那么难理解，为什么我们偏要寻求全局的解释呢，我们应该先观察一个点，然后找到特定的解释。

所以就像上面这种方式，其实并不复杂，先在点x周围取样，然后就会得到“一些”点。然后将这些点的数据放进一个模型，然后从复杂的模型中得到预测，随后根据点的距离很行样本，然后在已经衡量过的样本上学习简单的模型，最后用简单的模型解释点“X”。

举一个简单的例子，经过机器学习训练的系统预测：图中是电吉他的概率为32%。古典吉他的概率是24%。另外，在有21%的几率的狗的情况下，它甚至可能是黑乎乎的一片。

为啥会出现这种情况呢？这篇论文作者说，其使用的还是局部的解释。也就是只使用像素来形成模型，之所以是吉他是因为图片那块的像素告诉我这是吉他。也即如果我观察到那一步的的像素，那么我有30%的几率学习到吉他。

现在我们把它应用到更加现实的例子中去，看看下面这个已经训练好的神经网络检测图片中的动物是狼还是哈士奇。在以下6张照片中，只有左下角的一张被识别错了。

请到「今天看啥」查看全文