专栏名称: 阿里研究院

阿里研究院依托阿里巴巴集团海量数据、深耕小企业前沿案例、集结全球商业智慧，以开放、合作、共建、共享的方式打造具影响力的新商业知识平台。阿里研究，洞察数据，共创新知！官方网站http://www.aliresearch.com/

阿里云大模型原生安全免疫机制

阿里研究院 · 公众号 · 电商 · 2025-05-01 10:50

正文

请到「今天看啥」查看全文

通过 SFT（有监督微调）和 DPO（直接偏好优化）等方法提升模型对特定问题的准确性。

调整模型参数（如参数Temperature）可平衡输出特性。

引入外部知识库进行检索增强，可进一步优化模型对特定问题的准确性。

然而，张荣指出，幻觉与模型泛化能力一体两面，是可用性与可靠性的博弈，不能简单视幻觉为缺陷，需客观对待，避免过度抑制幻觉而牺牲泛化能力。

同时，即便采取这些手段，仍存在指令攻击问题，即通过精心设计提示词操控模型产生有害输出。指令攻击源于概率生成的开放性缺陷、语义理解的局限性及对齐机制的覆盖盲区。技术原理导致的问题不能完全解决，但可以通过技术措施来加以改善。例如应对指令攻击，可在模型训练完成后构建含诱导等内容的评测集，评测模型生成内容，评估其防御能力并采取相应改善措施。

全流程防护秘籍

从训练到推理的大模型原生安全

训练阶段分为预训练和后训练。

预训练阶段

模型通过学习网页、书籍、论文等多种类型的文本，获取广泛的世界知识，并过滤掉违法不良信息。

后训练阶段

包括有监督微调（SFT）和直接偏好优化（DPO），在此阶段加入安全语料以增强模型的安全性。

SFT和DPO技术核心都是利用高质量安全语料，在保持多样化和灵活化的前提下，增强模型对正确答案的倾向性，减少低概率长尾错误token的采样。

推理阶段的安全工作，主要是对模型输入做干预。通义大模型在模型推理阶段的安全防护有一些较好的实践，如：

动态System Prompt

根据用户提问的场景，动态调整System Prompt，修改模型初始隐藏状态，抑制危险token的输出概率分布，引导模型生成安全回答。

安全护栏宪法式防控

对用户输入进行实时检测，发现恶意提问时，将恶意意图改为善意，替换负向词汇，引导模型输出正向积极内容。

请到「今天看啥」查看全文

推荐文章

吉林省商务厅 · 实战赋能点燃电商创业热情——通化师范学院直播电商创新创业训练营火热开营

15 小时前

吉林省商务厅 · 实战赋能点燃电商创业热情——通化师范学院直播电商创新创业训练营火热开营

15 小时前

网购投诉平台 · 尚德机构一只船教育网易云课堂中职通 51Talk 常青藤爸爸芸学教育中安建培等入选5月全国数字教育十大典型投诉案例

昨天

老高电商圈子 · 年销460亿，又一个百亿蓝海市场诞生了！

昨天

老高电商圈子 · 年销460亿，又一个百亿蓝海市场诞生了！

昨天

蛋先生工作室 · 蛋鸡高峰期上不去，掉蛋厉害，破壳蛋，治疗一直反复，找对方法解决很容易，奉劝你别再走弯路！

2 天前

电商派Pro · 黄子韬卫生巾太火爆了，日产千万还不够，正加急生产

2 天前

终极较量 · 惊！怒！巨星陨落，大腕去世，媒体竟如此反应…

8 年前

漫心情 · 你若爱，生活哪里都可爱。

8 年前

天下网商 · 联合国为何选择马云出任助理秘书长？他拿到offer后做了什么

8 年前

审判研究 · 消费者权益纠纷典型案例 12 则｜天同码 135

8 年前

Wind万得 · “漂亮50”领风骚！27图纵览上半年A股市场全貌

7 年前