专栏名称: 瞭望
瞭望周刊官方微信,给您有营养的深度资讯
目录
相关文章推荐
51好读  ›  专栏  ›  瞭望

瞭望|语料污染致AI大模型有害内容显著增加,如何筑牢防火墙?

瞭望  · 公众号  ·  · 2025-05-30 07:30

正文

请到「今天看啥」查看全文


,它通过恶意注入虚假或误导性的数据来污染模型的训练数据集,影响模型在训练时期的参数调整,破坏模型的性能、降低其准确性或使其生成有害的结果。

纽约大学的一个研究团队在一次模拟的数据攻击中,通过使用GPT-3.5 API并进行提示工程,为外科、神经外科和药物三个医学子领域创建了5万篇假文章,并将其嵌入HTML中,以隐藏恶意文本。

结果显示, 在训练时,即使数据集中只有0.01%和0.001%的文本是虚假的,模型输出的有害内容也会分别增加11.2%和7.2%。 如果换成更大规模参数的模型, 注入仅花费5美元生成的2000篇恶意文章,模型的有害内容则会增加4.8%。

数据失真风险不仅来自外部攻击,还可能源于技术局限。 腾讯研究院发布的一份报告显示,AI大模型的数据源可能存在知识边界,即缺乏特定领域知识或使用过时的信息,使得模型在面对特定问题时“无中生有”。即使数据本身没有问题,模型也可能因为对数据利用不当而产生幻觉。

受访者表示, AI生成内容还会造成递归污染 ,即大模型生成的虚假内容被再次上传至互联网,成为后续模型训练的数据源,形成“污染遗留效应”。这种递归循环会导致错误信息逐代累积,最终扭曲模型的认知能力。

三方面风险值得关注

“大模型的语料污染在技术上是切实存在的。”北京一家头部量化私募负责人表示, 互联网语料作为大模型的主要知识来源,其准确性与客观性难以保证,可能影响模型输出的可靠性。

业内人士称,随着大模型快速发展, AI语料污染会引发一系列潜藏风险,且隐蔽性较强。当前,尤其需要关注金融市场、公共安全和法律版权等方面的风险。

金融市场操纵风险。 随着大模型应用的普及,金融领域正面临语料污染带来的新型市场操纵风险。

有业内人士揭露了“AI杀猪盘”的典型操作手法:不法分子先是选定个股预埋股票仓位,再利用AI大量炮制虚假信息,散布于自媒体账号、股吧、论坛等平台,污染AI语料库,再雇用“水军”扩散AI对话截图,人为制造概念股假象诱导散户接盘。当股民“信以为真”冲着这些“利好”消息买入,便可套现离场,完成一轮“AI杀猪盘”。

这种新型市场操纵手段已经显现出一定的市场破坏力。 今年春节后,“某集团投资DeepSeek”的虚假信息在各投资平台大规模传播,直接引发相关上市公司股价异常波动,操盘者趁机高位套现。

值得注意的是,虚假信息即便被官方辟谣,仍可能持续污染语料库。 记者测试发现,部分被辟谣的虚假信息仍在AI系统中存续,显示出虚假语料的顽固性。

明汯投资有关人士认为,大模型被“污染”后生成的统一倾向荐股内容,可通过社交媒体等渠道快速传播,形成市场一致性预期,导致股价波动;若污染语料接入程序化交易系统,可能触发自动化买卖指令,进一步加剧市场异常波动,形成联动风险。

公共安全风险。 多位业内人士坦言,AI语料污染还可能误导公众认知,扰动医疗、教育等多个领域认知,给社会公共安全带来风险。







请到「今天看啥」查看全文


推荐文章
笑点研究所  ·  泰迪熊是对得起泰迪两字的
8 年前
瞭望消金  ·  特工柳德华最新任务
8 年前