漫画趣解：大模型预训练、后训练、微调

正文

请到「今天看啥」查看全文

这就好比我们的中小学阶段，系统地学习语文、数学、英语等基础学科知识。

这个阶段数据规模庞大，训练成本高，周期长（数万GPU天）， 比如Llama 4 Scout预训练就使用了40万亿tokens数据 。

想想我们小时候刷过的题、吃过的苦、花费的时间、挨过的骂……

预训练的成本和时间一下子就具象化了。

再说 后训练

后训练 是指在预训练完成后的进一步训练阶段，目的在于让模型更好地适应实际的特定任务或应用场景。

这就好比高中毕业（预训练结束），考上大学，有了明确的专业方向，开始强化专业知识。

后训练阶段，数据规模小，通常是特定领域的数据（专业基础课和专业课），训练周期短（修够学分就行）。

请到「今天看啥」查看全文