谷歌“Wi-Fi密码”式的最瘦大模型

正文

请到「今天看啥」查看全文

为什么量化训练让 AI 变“亲民”？

以前的 Gemma 3需要“天花板配置”：NVIDIA H100，BFloat16 精度，普通人家根本用不起。

而这次，Google 把量化训练用到了极致。简单说，就是让模型在训练阶段就习惯低精度（比如 int4、int8），以后部署时直接“瘦身”，几乎不掉智商。

显存节省效果非常明显。以 27B 参数的模型为例，原本需要 54 GB 的显存，在 int4（4 位整型）格式下只需 14.1 GB；12B 版本从 24 GB 降到了 6.6 GB。即便是小尺寸模型也受益明显：4B 版本仅需 2.6 GB，1B 版本甚至只要 0.5 GB 显存。

量化训练的“魔法”到底在哪里？

普通的量化是什么？后处理。模型训完了，直接把参数压缩成低精度，代价就是：掉分，掉智商。

Google 这次玩的是 QAT —— 训练过程直接让模型在低精度环境下“吃苦头”，提前适应精度损失。

请到「今天看啥」查看全文