AI动态 | 美国NIST发布《降低合成内容所带来的风险》草案（附中译版）

【主要内容】

1.摘要：

摘要部分强调了生成式AI技术在创造各种媒体内容方面的潜力，这些内容在视觉上几乎无法与真实内容区分。

同时，指出了这些技术可能对信任度、安全性、透明度和可信度构成的风险，以及对社会信息生态系统可能造成的伤害。

2.合成内容的危害和风险：

详细讨论了合成内容如何加速信息完整性、儿童性虐待材料（CSAM）、未经同意的私密图像（NCII）、欺诈以及知识产权和版权问题。

强调了合成内容对个人、公共安全和民主可能产生的负面影响，特别是对那些因性别、种族等因素而面临交叉歧视的群体。

3.当前的方法、问题和机遇：

概述了来源数据跟踪和合成内容检测的技术方法，包括：

数字水印： 用于在内容中嵌入难以移除的信息，帮助验证内容的真实性或来源。

元数据记录： 提供了内容的详细描述和历史信息，有助于内容的真实性验证。

内容验证： 通过检查内容的来源和历史来确定其真实性。

讨论了这些技术的潜在应用，如知识产权保护、内容来源透明度提升等，以及它们在实施过程中的局限性和挑战。

4.测试和评估：

介绍了测试和评估来源数据跟踪和合成内容检测技术的方法，强调了准确性、稳健性和安全性的重要性。

特别提到了数字水印技术的测试，包括对水印的攻击和测量其复原力。

5.防止和减少合成CSAM和NCII造成的伤害：

探讨了现有技术缓解措施，包括：

训练数据筛选： 确保用于训练AI模型的数据不包含有害内容。

输入数据过滤： 在AI模型接收输入时过滤掉可能导致生成有害内容的数据。

图像输出过滤： 在内容生成后检测并阻止有害内容的传播。

强调了这些措施在减少合成内容造成的伤害方面的潜力和挑战。

6.NIST人工智能风险管理框架生命周期：

讨论了如何将数字内容透明度技术与NIST人工智能风险管理框架（AIRMF）结合，以指导技术的发展和管理风险。

强调了在AI系统的整个生命周期中，从设计到部署再到维护，都需要考虑透明度和信任度的问题。

7.结论：

总结了数字内容透明度技术的重要性，并指出了技术发展、社会影响评估和政策制定等方面需要进一步研究和发展的领域。

8.参考书目：

提供了相关研究和技术文献的书目，供有兴趣深入了解该领域的读者参考。

9.附录：

提供了包括现行标准、技术工具、来源数据跟踪、合成内容检测、测试与评估和术语表等补充信息。