正文
达尔文哥德尔机是一种通过重写自身代码来提升编程任务性能的自我改进型编程智能体。它能实现多种自我改进，包括：增加补丁验证步骤、优化文件查看功能、增强编辑工具、生成并排序多个解决方案以选择最优选项，以及在实施新修改时记录历史尝试记录（包括失败原因）。
达尔文哥德尔机通过运用开放式探索原则，逐步构建起一个不断扩增的智能体库。该系统通过交替执行自我修改与下游任务评估的方式，持续创建新智能体并对其进行评分。
在 sw-bench 上，DGM 自动将其性能从 20.0% 提高到 50.0%。在 Polyglot 上，DGM 的表现从最初的 14.2% 跃升至 30.7%，远远超过了 Aider 手工设计的代表性智能体。这些可观的收益证明了 DGM 发现并实现对其自身代码的有益更改的能力。
模型的自我奖励训练：潜力、崩溃与缓解策略
-
论文标题：Can Large Reasoning Models Self-Train?
-
论文链接：https://arxiv.org/abs/2505.21444
-
项目地址：https://self-rewarding-llm-training.github.io/
-
代码地址：https://github.com/tajwarfahim/srt
-
数据集：https://huggingface.co/collections/ftajwar/self-rewarding-llm-training-6835218091832c3664176553
通过可验证奖励进行的强化学习显著增强了大语言模型的推理能力，尤其是在数学和编码方面。然而，这种方法依赖于人工创建的真实标签验证器，这使得为每个问题生成奖励信号的成本高昂且受到限制。在这项工作中，研究团队提出以下问题：
-
推理模型能否仅使用自身的反馈进行自我训练，而无需访问真实标签？
-
自我训练的性能能否达到基于真实标签的强化学习训练的水平？
-
自我训练能否无限期持续？其改进最终是否会受到限制？
-
哪些策略可以有效地维持模型的自我训练？
自我奖励培训（SRT）
受先前基于一致性自我提升研究的启发，研究团队引入了一种简单而有效的自我训练强化学习方法论，称为自我奖励训练（Self-Rewarded Training，SRT）。
该方法在强化学习训练期间，通过模型生成的多个解决方案之间的一致性来评估正确性，从而在没有标注数据的情况下提供自监督信号。
SRT 概览。在 RLVR 方法中，系统通过真实验证器生成用于强化学习训练的奖励信号。与之相反，SRT 方法并不依赖真实验证器，而是通过模型自身生成结果的多数投票机制来估算真实值，并利用这一替代性奖励信号来训练模型。
SRT 与早期训练阶段的 RL 性能相匹配
研究团队通过经验证明，在早期训练阶段，SRT 能够达到与那些在黄金标准答案上进行显式训练的标准强化学习方法相媲美的性能。测试数据集包括：AMC、AIME24、AIME25。 然而，研究团队发现其性能最终会崩溃，例如在最右图中展示的 DAPO 数据集上的训练情况。
自我训练必然会崩溃
研究团队分析了 SRT 在具有挑战性的 DAPO 数据集上训练时的训练动态。
这些发现表明，模型通过产生一致（见上方第二个图）但错误（见上方最左图）的答案来学习最大化自我分配的奖励。人工检查证实了这一点：在崩溃之后，模型的输出会退化为随机的词元序列，并带有一个固定的、与提示无关的答案（例如，「答案是 1」）。这种行为有一个简单而精确的理论依据：
由 SRT 目标定义的强化学习优化问题明确鼓励输出之间的一致性，而不考虑其正确性。因此，在该目标下的最优策略会退化为无论输入如何都产生相同的答案，从而人为地最大化奖励。在这种代理 (proxy) 目标上持续进行自我训练，自然会驱动模型朝向这种平凡解 (trivial solution) 发展，特别是当这种解比解决实际任务更简单时。
缓解策略可能是有效的
研究团队提出了一些策略来缓解奖励作弊 (reward hacking)，为未来维持模型持续改进的有效方法奠定基础。
（i）早停（Early Stopping）：一个小的验证集可以可靠地检测到模型的最佳性能点，并防止在自我训练过程中发生崩溃。对于所有的留出集（heldout sets），最佳性能点几乎出现在同一位置，因此使用任何一个留出集进行早停都是有效的。
（ii）使用离线生成的标签进行自我训练：一种有效的方法是从一个稳定的、先前固定的检查点生成伪标签，而不是利用来自演进中的策略的标签。这样做可以稳定训练，同时达到与 SRT 相当的性能。
（iii）结合课程学习的自我训练：研究团队假设，在更具挑战性的数据集上训练时，模型崩溃会发生得更快，这一推测与研究团队的经验性发现一致。其直觉是，在更具挑战性的数据集上，模型更容易放弃其预训练知识，转而优化自我一致性，而不是真正学习解决潜在的任务。研究团队利用这一假设，通过根据（a）通过率和（b）多数投票的频率来识别 DAPO 数据集中「最简单」的子集，从而实施一种课程学习策略（更多细节请参见论文）。
