ACL’25 | 群体比较推理释放LLM-as-a-Judge 在评测中的scaling效果

正文

请到「今天看啥」查看全文

和 做出判断 ：

这里的目标是确保模型给出的判断 与人类评测高度一致。在两两比较场景中，这种一致性通常通过与人类标签相比的准确率来衡量。

群体回复与判断生成 : 基于任务指令 ，我们首先利用LLM生成 个合成的群体回复{ }。为了提高这些回复的多样性，我们可以使用不同规模的LLM，从小模型（如Qwen2.5-0.5B-Instruct）到大模型（如Mistral-Nemo-Instruct-2407），并采用不同的温度参数。理论上，多样化的回复能覆盖更广泛的场景。当这些群体回复与候选回复 和 进行对比时，能够强调不同的细节，提供更全面的视角，促进更深入的推理。如图2所示，群体判断揭示了“he”的重要性，其中回复A巧妙地将动作主体“he”转换为对象“task”本身，从而违反了指令中关于改写但保持原意的要求。我们随后利用这一信息作为上下文强化后续的CoT推理。 这种优势优于标准扩展，因为后者无法预先提示此类细节 。 对于每个合成的群体回复 ， 分别独立地产生两个群体判断和，通过分别将与 和 进行比较：

请到「今天看啥」查看全文