专栏名称: 数据派THU
本订阅号是“THU数据派”的姊妹账号，致力于传播大数据价值、培养数据思维。
目录
相关文章推荐
数局  ·  解数咨询：2024年保健品行业复盘 ·  13 小时前  
艺恩数据  ·  【艺恩报告】代言营销市场结构重估与情绪红利洞察 ·  昨天  
CDA数据分析师  ·  【干货】如何用数据驱动产品增长？一文讲透推广 ... ·  4 天前  
CDA数据分析师  ·  不上班也能活得漂亮？这届年轻人靠这些技能支棱 ... ·  3 天前  
数局  ·  红餐：2025年卤味品类发展报告 ·  2 天前  
51好读  ›  专栏  ›  数据派THU

R1-Zero的无监督版本来了！SFT不再是必须，EMPO重新定义大模型推理微调

数据派THU  · 公众号  · 大数据  · 2025-06-06 17:00

正文

请到「今天看啥」查看全文



任务通用性：每轮迭代中，从当前策略模型中采样生成多个回答，通过语义等价性构建聚类，用语义簇概率作为奖励信号驱动学习，可适用于数学外的通用推理任务。在语义层面持续最小化回答的不确定性（熵），突破格式固定答案的限制。


为实现语义熵最小化，EMPO 通过最大化下述策略：

图片

需要指出的是，相较于 GRPO 几乎没有 reward hacking 空间的基于回答正确性的奖励，无监督的熵目标在优化过程中可能存在被“投机取巧”利用的风险。例如，模型可能会倾向于过度拟合那些具有高置信度的常见回复模式（例如总是简单的回复 “I don’t know”），以获取更高的奖励，而不真正进行深入推理。


为应对这一问题，文章提出了一种简单的熵阈值控制策略：通过设置双阈值（即 和 ），仅对不确定性处于适中范围的提示进行优化，从而避免模型对于过简单过困难问题的优化。







请到「今天看啥」查看全文


推荐文章
数局  ·  解数咨询：2024年保健品行业复盘
13 小时前
艺恩数据  ·  【艺恩报告】代言营销市场结构重估与情绪红利洞察
昨天
CDA数据分析师  ·  【干货】如何用数据驱动产品增长？一文讲透推广数据分析的逻辑！
4 天前
CDA数据分析师  ·  不上班也能活得漂亮？这届年轻人靠这些技能支棱起来了！
3 天前
数局  ·  红餐：2025年卤味品类发展报告
2 天前
苏米的星座馆  ·  荐号 | 你可真流氓，不过我喜欢
8 年前
UCCVR  ·  首发│Visense Game全新科幻力作《Minder》精彩谍照！
8 年前
穿衣搭配女王  ·  时髦女孩们在这个春夏都换上了平底鞋！
8 年前
创业投资最前线  ·  格力新手机3天销量暴增700倍！董明珠的“世界第二”还有多远？
7 年前
最美应用  ·  「网易云音乐」和版权之间的最后一战！你会为此卸载吗？
7 年前
移动版
51好读 - 微信公众号文章