CCAI 讲师专访 | 机器学习奠基人Thomas Dietterich：人类将如何受到AI威胁

正文

请到「今天看啥」查看全文

虽然我不相信会有一个良好/博斯托克风格（Good/Bostrom style）的智能爆炸。但有一件事情需要注意，各种AI技术的能力正在呈指数级增长，我期望这个趋势能这样持续下去。这个指数增长使得未来很难预测。当雷·库兹维尔谈到“奇点”时，他正在引用一种物理奇异性的比喻（比如黑洞或大爆炸）。信息不能通过物理奇点传播，他以类推的方式认为，由于人工智能技术的指数级发展，我们无法预见未来。

我一直认为，在高风险应用中部署人工智能技术将带来危险，因为如果软件出现错误（然而软件总是存在错误），它们可能会威胁人身安全或对经济产生不利影响。例如，如果部署AI软件来管理电网，则软件缺陷可能导致大量停电。我认为这类问题是目前人类受到AI技术威胁的最有可能的方式。

AI将给人类带来哪些问题

我想以AI研究人员和从业者需要解决的三个技术问题切入回答。如果在我们拥有自主的AI系统和人机AI系统之前，这些问题还没有得到解决，那么这些系统将不可靠、不可预测，这很危险。

a.       检验和确认（Verification and validation）。 第一个技术问题是，对于大多数AI系统，特别是基于机器学习的AI系统，我们无法验证其正确性。对于监督学习，只有在测试数据与训练数据来自相同的分布的假设下，我们才能验证其正确与否。最近的一些工作表明，深层神经网络容易受到对抗数据的影响。因此，在真实条件下，我们需要一个可测试的方法来保证系统的准确性。

b.       对已知和未知的未知问题的鲁棒性（Robustness to known and unknown unknowns）。 传统意义而言，AI系统关注性能，其中包括相较于预期的准确性、成本以及回报。 除此之外，在与安全密切相关的应用中，我们需要准备一些方法以便处理下行风险和一些罕见但有灾难性后果的问题。大多数现有的下行风险方法只考虑“已知的未知”，即我们所知道的风险。但我们也需要开始寻找方法，以便从模型故障层面也能够提供鲁棒性（即未知的未知层面）。这是接下来的研究中一个非常重要的话题。

请到「今天看啥」查看全文