推理能力飙升，指令遵循暴跌？MathIF基准揭示大模型“服从性漏洞”

正文

请到「今天看啥」查看全文

自动评分程序会精确检查答案是否符合每个具体的指令标准，分别以硬准确率（HAcc）和软准确率（SAcc）衡量模型的服从程度：HAcc 表示是否全部指令都被满足，而 SAcc 则反映每条指令的平均满足比例。

▲ 图表1. MathIF 的指令类型

越聪明越不听话？实验揭示“聪明”与“听话”的矛盾

研究团队使用 MathIF 评测了 23 个当前主流的大模型。这些模型包括不同的参数规模和训练方式，涵盖从数十亿到数百亿参数的各种类型。

实验结果令人意外：在数学推理能力表现越出色的模型，反而更难完全遵守用户给定的指令要求。即使是表现最佳的模型 Qwen3-14B，也只能成功遵守一半的指令提示。

此外，模型的大小与其遵守指令的能力并不呈正相关，甚至有时会出现负相关——即更大的模型并不一定更守规矩。一些较小的模型反而更善于严格执行用户的指令。

指令遵循（instruction-following）与数学推理能力（mathematical reasoning）之间存在一种权衡关系（trade-off）。也就是说，当模型在推理能力上表现得更强时，它往往更容易忽略或违反用户的具体指令。

▲ 图表2. 23 个大推理模型在 MathIF 上的表现

模型按服从性（HAcc + SAcc）表现从高到低排序。表中†符号表示该模型仅通过监督微调（SFT）训练，未使用推理导向的强化学习方法。粗体+下划线标记则分别代表各列指标中的前两名与后两名。

为什么聪明模型更“不听话”？

研究团队进一步分析了这个现象背后的原因：

原因一：推理导向的训练模式

研究发现，旨在强化模型推理能力的训练方式（如监督微调（SFT）和强化学习（RL）），虽然显著提升了模型的“智力”，却在一定程度上削弱了其对具体指令的敏感性。

这类模型往往更专注于如何准确解题，而容易忽视诸如格式、字数等细节要求。正如图 3 所示，无论是 SFT 还是 RL，推理导向训练虽然提升了解题表现，却普遍导致模型在指令遵循能力（HAcc 与 SAcc）上的下降。

请到「今天看啥」查看全文