可解释性 or 准确性？AI 模型就一定不能两者兼得吗？

AI科技评论 · 公众号 · AI · 2020-01-28 18:17

正文

请到「今天看啥」查看全文

二、要实现可解释性就必须牺牲准确性吗？

认为必须牺牲准确性来换取可解释性的观点是不正确的。当非常简单的可解释模型用于相同的任务时，它允许公司为高风险决策推销和出售私有或者复杂的黑盒模型。因此，模型创造者可以通过它来获利并且无需考虑对个人的有害影响。

很少有人质疑这些模型，因为他们的设计师声称模型必须复杂才能准确。 2018年的这场“可解释机器学习挑战赛”是一个案例研究，主旨在于考虑将黑盒模型与可解释模型进行权衡。

在宣布挑战赛获胜者之前，主持人要求听众（包括金融，机器人技术和机器学习领域的能者）进行思想实验，在该实验场景中，他们患有癌症，需要手术切除肿瘤。屏幕上显示了两张图像，一张图描述了一位人类外科医生，他可以解释有关手术的任何事情，但在手术过程中有15％的概率导致死亡。

另一幅图像则显示了只有在 2％的失败几率下才能执行手术的机器人，它其实是在模拟 AI 的黑盒方法。在这种情况下，他们需要完全信任机器人，不会对机器人提出任何问题，也不需要了解它是如何做出手术决定的。

然后，主持人要求观众举手投票选择他们愿意进行哪种拯救生命的手术。除了一票以外，其他所有人都投票选择机器人。

虽然 2% 的死亡率比 15%的死亡率要好很多，但是以这种方式来架构 AI 系统的风险，会掩盖一个更基本、更有趣的考虑：为什么机器人必须是黑盒？如果机器人具有自我解释能力，它将会失去执行准确手术的能力吗？机器人与患者之间的有效沟通是减少病人的护理而不仅仅只是改善吗？病人难道不需要在手术前向机器人说明他们有凝血障碍吗？

现场没有将可能并不需要作为黑盒模型的机器人作为一种选择，在座的的观众只能在准确的黑盒和不准确的透明盒子中进行选择。观众没有被告知手术结果的准确性是如何得出的（2%和15%分别测量的什么人群？），他们也没有被告知用于训练机器人的数据集的潜在缺陷。

在这一假设中，准确性必须以牺牲可以解释性（了解为什么外科医生要有做这些事情的能力）为代价。因此这项心理实验未能考虑到可解释性可能不会损坏准确性。而实际上，可解释性甚至可以提高准确性，因为它可以帮助你了解模型（机器人）何时可能是错误的。

并非一定要在准确的机器和具有理解能力的人之间做出选择，如此理解它有助于我们诊断由黑盒模型在整个社会中进行高风险决策所导致的问题。这些问题不仅存在于金融领域，而且还存在于医疗保健，刑事司法等领域。

我们可以给出一些证据表明，“必须牺牲一些可能性才能获得准确性的模型”的设想是错误的，比如一个刑事司法系统中已经反复证明，利用黑盒模型的复杂性预测未来的逮捕情况，其准确性远不及基于年龄和犯罪记录的简单预测模型（Angelino, Larus-Stone, Alabi, Seltzer, & Rudin, 2018; Tollenaar & van der Heijden, 2013; Zeng, Ustun, & Rudin, 2016）。

例如，Angelino 等人在 2018 年曾在一项仅考虑人的年龄和犯罪历史的一些规则的研究中，创建了用于预测再次逮捕的机器学习模型。