本文通过在形式化定理证明领域的深入研究，揭示了标准GRPO强化学-20250608064644

本文通过在形式化定理证明领域的深入研究，揭示了标准GRPO强化学习算法中存在的“秩偏差”——即优先强化高概率解而忽视稀有正确解，导致“分布锐化”并限制了多样本评估（pass @N ）性能的提升。为此，论文创新性地提出了“非相似性奖励”机制和调整PPO epoch数作为有效缓解策略，显著改善了pass @N表现和样本多样性 ，并构建了一个具竞争力的开源定理证明RL流程。