今日 Paper | 小样本学习；机器学习；单幅图像去雾 ；零样本目标检测等

正文

请到「今天看啥」查看全文

机器学习的“学习如何遗忘”

论文名称：Machine Unlearning

作者：Bourtoule Lucas /Chandrasekaran Varun /Choquette-Choo Christopher /Jia Hengrui /Travers Adelin /Zhang Baiwu /Lie David /Papernot Nicolas

发表时间：2019/12/9

论文链接：https://arxiv.org/abs/1912.03817

推荐原因

假设你用一百万条数据训练了一个机器学习模型，然后数据提供方有一天突然告诉你，其中有几条数据是有问题的、或者现在不允许使用了，现在要把这几条数据对模型的影响取消掉。除了从头训练一个新模型，还有什么办法吗？这个问题就是机器学习的“反学习”，Machine Unlearning，“学习如何遗忘”。

在传统搜索中，想删除某条数据很容易；但在机器学习模型中，数据会被模型记住，存在被攻击者还原、获取的风险；即便采用一些保护方式，数据的影响也成为了模型参数的一部分，难以单独解耦，从而难以单独消除。所以想要删除数据，常见做法基本上只能是重新训练模型。

在这篇论文中，作者们提出了一种新的训练框架来解决这个问题。他们的方法可以减少受到删除数据影响的参数的数量，而且会对训练算法中间阶段的输出做一些缓存，以减少遗忘这些数据的过程中对整个模型的更新次数。依靠这样的设计，他们的方法减少了数据遗忘过程中的计算开销，即便在最差情况下也有效。如果用户能够提供先验，他们的方法还能获得更好的效果。作者们的这项研究能对机器学习模型实际应用中的数据治理起到帮助。

请到「今天看啥」查看全文