黑产和AIGC造假都难了！小红书处置60万篇AI笔记

见实 · 公众号 · 科技媒体 · 2025-06-14 10:46

主要观点总结

文章介绍了小红书在2025年上半年的虚假内容治理成果和措施。包括打击AIGC技术引发的虚假笔记泛滥问题，采取的多层治理措施如明确AIGC内容标识、上线音画识别模型、细化账号分级处罚机制、设置流量门槛等。同时，也披露了下半年的用户共治计划和私域增长趋势洞察报告。

文章提到，从1月到6月10日，小红书已累计封禁黑灰产账号超1000万个，处置虚假笔记320万篇。治理背景包括AI技术的滥用和虚假内容的泛滥。

为了治理虚假内容，小红书采取了多项措施，包括要求创作者对AIGC内容进行声明和显著标识、上线音画识别模型、细化账号分级处罚机制、设置流量门槛等。

黑灰产治理面临的挑战包括账号注册环节使用虚拟号码和群控系统的批量操作、内容层面的规避审核以及违规场景的转移。对此，小红书升级了机器对抗系统，建立风控体系，并推出实名认证解冻机制。

小红书披露了下半年用户共治计划，包括简化举报流程、引入用户内容标注功能等。同时，还提供了私域增长趋势洞察报告，并推荐参与私域游学等活动。

范围和违规频次，制定阶梯式处罚标准，结合同设备关联关系对相关作恶账号一并追溯处罚。

第四，设置流量门槛，减少低质AI内容曝光。低质量AIGC内容到达一定曝光阈值，将停止推荐。

除此外，也对批量造假的黑灰产账号进行了重点打击。

黑灰产治理面临这些挑战：账号注册环节使用虚拟号码与群控系统批量、精细操作，内容层面通过符号缩写、黑话变体规避审核，违规场景从公开笔记向群聊、私信等私域转移。

对此，小红书升级机器对抗系统，将风险账号判罚时间缩短至实时处置，有效应对“黑产变体快且多”的特性。同时，针对黑灰产账号建立“同质化识别”风控体系，上线50+识别模型，实现账号、笔记、评论文本三维相似度检测。

值得关注的是，小红书推出 “实名认证解冻” 机制，对高危账号先冻结后验证，完成验证后解冻，显著提升黑产作恶成本。线下层面，小红书已向警方提供线索并推动7起典型案件侦办，形成“线上技术拦截+线下司法打击”的闭环治理模式。

小红书明确，在治理中，用户参与共治成为治理效率提升的关键。 2025年上半年，虚假内容举报量同比增长40%。通过优化审核流程，被举报内容平均审核时长同比减少25%，预计接入大模型后年底将再缩短10%。

最后，小红书还披露了下半年用户共治计划。将简化举报流程实现“一页提交”，引入部分用户内容标注功能，计划推出“热榜辟谣卡”让用户辟谣内容登上热榜。

对此，你怎么看？有举报过虚假笔记或低质AI内容吗？欢迎在评论区留言，说说你的看法。