本文通过大规模语言模型训练实验，颠覆性地揭示了即使精心调优的Si-20250602055327

本文通过大规模语言模型训练实验，颠覆性地揭示了即使精心调优的Signum也显著逊于Adam，并发现约束动量参数β1=β2的Adam变体能以更简单的形式保持近乎最优性能，同时创新性地从均场高斯变分推断视角，将此设定下的Adam解释为一种在线估计梯度均值和方差并据此自适应调整更新步长的 principled 算法，从而找到了Adam部分“秘诀”所在。