主要观点总结
文章介绍了RM-R1框架，该框架将奖励建模重构为推理任务，提升了大型语言模型的可解释性和性能。文章详细阐述了RM-R1的核心机制，包括推理奖励模型、链式评估准则（CoR）和训练流程等。实验结果表明，RM-R1在奖励建模任务中实现了显著性能提升，超越了现有模型。
关键观点总结
关键观点1: RM-R1框架将奖励建模重构为推理任务，提升了模型的可解释性和性能。
RM-R1框架提出了推理奖励模型（ReasRMs）的概念，将奖励建模视为一个推理过程。通过生成结构化的评估标准和推理过程，提升了奖励模型的可解释性。实验结果表明，RM-R1在奖励建模任务中实现了显著性能提升，准确率远超其他模型。
关键观点2: 链式评估准则（CoR）是RM-R1的核心创新之一。
CoR机制将奖励建模任务分解为一系列结构化的推理步骤，使模型在给出最终偏好判断之前，能够像人类专家一样进行深层次的「思考」和评估。CoR机制的精髓在于其「自适应性」和「内部专家」角色，这不仅提升了评估的准确性，更揭示了模型在复杂任务中进行「元推理」（meta-reasoning）的潜力。
关键观点3: RM-R1的训练流程包括推理蒸馏和强化学习两个阶段。
推理蒸馏阶段从高质量的推理链中提取知识，训练模型生成结构化的评估标准。强化学习阶段使用可验证的奖励信号，进一步优化模型的推理能力。这种训练流程使得RM-R1在多个奖励模型基准测试中表现出色。
关键观点4: 实验结果表明，RM-R1在所有评估基准上实现了最先进或接近最先进的性能。
实验验证了RM-R1在奖励建模任务中的有效性，在多个权威基准上的系统性实验表明，RM-R1模型在所有评估基准上实现了最先进或接近最先进（SOTA）的性能。尤其是在推理密集型基准上，RM-R1取得了突破性进展。此外，消融研究深入剖析了RM-R1成功的关键因素。
正文
图 1: 直接用现有的 Instruction-tuned model 过拟合于 SFT 数据中的表层模式，无法识别被拒绝回答中的情感伤害和细节缺失。而右下角的推理奖励模型则能跳出表面特征，从回应所造成的深层影响出发进行评估。
核心机制：链式评估准则 (CoR) 如何引导模型「思考」
RM-R1 的核心创新之一在于其引入的
链式评估准则（Chain-of-Rubrics, CoR）机制
。该机制将奖励建模任务分解为一系列结构化的推理步骤，使得模型在给出最终偏好判断之前，能够像人类专家一样进行深层次的「思考」和评估。CoR 机制的精髓在于其「自适应性」和「内部专家」角色，这不仅提升了评估的准确性，更揭示了模型在复杂任务中进行「元推理」（meta-reasoning）的潜力。
CoR 机制能够根据任务类型动态调整其评估策略。系统提示会指导奖励模型（rθ）首先将每个偏好数据样本分类为「推理型」（Reasoning）或「对话型」（Chat）任务。
对于推理任务（如数学、编程、逻辑推理、多步推理等），模型被指示首先
自行解决用户的问题并生成解决方案
，并将其封装在
< solution>...
标签内。这个内部生成的解决方案充当了「标准答案」 或「内部专家」的参考。模型随后会以此为基准，评估两个候选响应的正确性、完整性和推理质量。这种机制使得模型能够进行内部自洽性检查和「自我纠错」，因为它在判断外部答案之前，先独立地得出了自己的「真理」。这种「内部专家」机制使得模型能够进行更深层次的正确性验证，而不仅仅是表层模式匹配，从而显著提高了在复杂推理任务上的判断准确性。
对于对话任务（如开放式对话、安全问题、风格改写或一般性帮助请求），模型则被指示
生成定制化的评估准则（rubric）
，并为每个准则分配权重，同时提供
理由（justify）
，解释选择这些准则及其权重的原因。这些准则和理由被封装在
< rubric>...
和
< justify>...
标签内。随后，模型会根据这些明确定义的准则对两个候选响应进行详细比较和评估，并将评估结果放在
< eval>...
标签中，最后给出最终判断，如
< answer>[[A]]
或
< answer>[[B]]
。这种方法反映了人类偏好判断的复杂性和多维度性，模型不再是简单地进行二元判断，而是能够像人类一样权衡多个因素。
CoR 机制通过强制模型遵循预定义的逻辑序列、进行任务特定评估、提供透明的推理痕迹以及将评估基于实际内容而非表面特征，从而实现了深度推理并增强了可解释性。这种「自适应性」表明 RM-R1 不仅仅是学会了「如何推理」，更学会了「何时以及如何应用不同的推理策略」，这是一种更高层次的认知能力，即「元推理」能力。这种能力是其在多样化基准上取得最先进表现的关键，因为它能够为不同类型的任务提供最恰当、最细致的评估。
