正文

请到「今天看啥」查看全文

传统方法让小模型模仿大模型的“解题步骤”（CoT蒸馏），但小模型容易“开脑洞”——比如硬背答案却不会查资料，或强行心算导致错误。

列出的8个测试任务中，小模型在复杂数学题和多跳知识问答上频频翻车。

Agent蒸馏：让小模型学会“用工具”

论文提出 Agent蒸馏 ：不再让小模型死记硬背，而是教它像人类一样 用工具 ！比如：

• 检索工具 ：查资料代替硬记（比如搜“几何之父是谁”）
• 代码工具 ：写代码做计算（比如用Python算复利）

对比了传统CoT蒸馏和代理蒸馏的区别，后者让小模型学会“动手解决问题”。

方法：首思前缀 + 自我纠错

为了让小模型学得更好，作者加了两个“外挂”：

请到「今天看啥」查看全文