正文
回归最纯粹的强化学习
在o1推出之后，推理强化成了业界最关注的方法。
一般来说，一个模型在训练过程中只会尝试一种固定训练方法来提升推理能力。
而DeepSeek团队在R1的训练过程中，直接一次性实验了三种截然不同的技术路径：直接强化学习训练（R1-Zero）、多阶段渐进训练（R1）和模型蒸馏，还都成功了。多阶段渐进训练方法和模型蒸馏都包含着很多创新意义元素，对行业有着重要影响。
其中最让人激动的，还是直接强化学习这个路径。因为DeepSeek-R1是首个证明这一方法有效的模型。
我们先来了解一下，训练AI的推理能力传统的方法通常是什么：一般是通过在SFT（监督微调）加入大量的思维链（COT）范例，用例证和复杂的如过程奖励模型（PRM）之类的复杂神经网络奖励模型，来让模型学会用思维链思考。
甚至会加入蒙特卡洛树搜索（MCTS），让模型在多种可能中搜索最好的可能。
但DeepSeek-R1
-
Zero选择了一条前所未有的路径“纯”强化学习路径，它完全抛开了预设的思维链模板（Chain of Thought）和监督式微调（SFT），仅依靠简单的奖惩信号来优化模型行为。
这就像让一个天才儿童在没有任何范例和指导的情况下，纯粹通过不断尝试和获得反馈来学习解题。
DeepSeek-R1
-
Zero 有的只是一套最简单的奖励系统，来激发AI的推理能力。
这个规则就两条：
1. 准确性奖励：准确性奖励模型评估响应是否正确。对了就加分，错了扣分。评价方法也很简单：例如，在具有确定性结果的数学问题中，模型需要以指定格式（如
和
间）提供最终答案；对于编程问题，可以使用编译器根据预定义的测试用例生成反馈。
2. 格式奖励：格式奖励模型强制要求模型将其思考过程置于
和
标签之间。没这么做就扣分，做了就加分。
为了准确观察模型在强化学习（RL）过程中的自然进展，DeepSeek甚至有意将系统提示词仅约束限制在这种结构格式上，来避免任何内容特定的偏见——例如强制让模型进行反思性推理或推广特定的问题解决策略。
R1 Zero的系统提示词
靠着这么一个简单的规则，让AI在GRPO（Group Relative Policy Optimization）的规则下自我采样+比较，自我提升。
GRPO的模式其实比较简单，通过组内样本的相对比较来计算策略梯度，有效降低了训练的不稳定性，同时提高了学习效率。
简单来说，你可以把它想象成老师出题，每道题让模型同时回答多次，然后用上面的奖惩规则给每个答案打分，根据追求高分、避免低分的逻辑更新模型。
输入问题 → 模型生成多个答案 → 规则系统评分 → GRPO计算相对优势 → 更新模型
这种直接训练方法带来了几个显著的优势。首先是训练效率的提升，整个过程可以在更短的时间内完成。其次是资源消耗的降低，由于省去了SFT和复杂的奖惩模型，计算资源的需求大幅减少。
