「Next-Token」范式改变！刚刚，强化学习预训练来了

主要观点总结

文章介绍了微软提出的新研究，即强化预训练（RPT）范式，这是一种将强化学习应用于语言模型预训练的方法。RPT将传统的下一个token预测任务重构为推理任务，并提供了一种可扩展的方式利用海量文本数据进行通用强化学习。该方法可以提高语言模型的建模准确性，并为后续的强化微调提供了强大的预训练基础。

关键观点总结

关键观点1: RPT范式的介绍

RPT是一种新的训练范式，将强化学习应用于语言模型的预训练阶段。它通过将传统的下一个token预测任务转化为推理任务，使模型能够在进行预测时获得可验证的奖励。

关键观点2: RPT范式的优点

RPT范式提供了可扩展的方式利用海量文本数据进行通用强化学习，无需依赖特定领域的标注答案。它提高了语言模型的建模准确性，并为后续的强化微调提供了强大的预训练基础。此外，RPT范式还能够帮助模型进行更深入的理解和泛化。

关键观点3: 实验设置和结果

实验使用OmniMATH数据集进行强化预训练，并展示了RPT范式的有效性。实验结果表明，RPT在提高语言模型的下一个token预测准确性方面优于基线方法，并且其性能随着训练计算的扩大而可靠地提高。

正文

请到「今天看啥」查看全文

在这篇题为「Reinforcement Pre-Training」的论文中，作者提出了一种名为「强化预训练（RPT）」的新范式。在这种范式中，下一个 token 预测任务可以被重新定义为一个通过强化学习训练的推理任务。在这一任务中，模型会因正确预测给定上下文中的下一个 token 而获得可验证的奖励。

这就好比在制作蛋糕的过程中，直接将樱桃融入到蛋糕的主体结构中。

作者指出，RPT 范式的好处在于，它提供了一种可扩展的方法，能够利用海量文本数据进行通用强化学习，而无需依赖特定领域的标注答案。

通过激励模型进行下一个 token 的推理，RPT 显著提升了预测下一个 token 的语言建模准确性。此外，RPT 为后续的强化微调提供了一个强大的预训练基础。

scaling 曲线表明，随着训练计算量的增加，下一个 token 预测的准确性持续提升。这些结果表明，RPT 是一种有效且有前景的 scaling 范式，能够推动语言模型预训练的发展。

不过，由于论文提出的方法比较新，社区对该方法的有效性、效率、前景等还有所疑问。

接下来，我们看文章内容。

论文概览

• 论文标题：Reinforcement Pre-Training

• 论文链接：https://www.arxiv.org/pdf/2506.08007

大语言模型（LLMs）通过在海量文本语料库上采用可扩展的对下一个 token 的预测，展现出跨多种任务的卓越能力。这种自监督范式已被证明是一种高效的通用预训练方法。

请到「今天看啥」查看全文