书生·浦语大模型升级，突破思维密度，4T数据训出高性能模型

正文

请到「今天看啥」查看全文

上海AI实验室研究团队认为，数据质量的提升带来的增益会显著高于数据规模的提升，而数据的“思维密度”（IQPT，Intelligence Quality per Token）是数据质量的核心，即数据的思考过程中蕴含的逻辑性、复杂性、启发性等。为此，团队提出大规模数据精炼框架，大幅提高了训练数据的质量。在具体实践中，书生·浦语3.0仅使用4T token的预训练数据，即实现主流开源模型18T数据的训练效果。通过构建数据“思维密度”杠杆，撬动模型性能提升，为突破Scaling Law带来了新的研究范式。

为了更好评估数据“思维密度”的影响，研究人员对指标进行量化定义，将数据思维密度（IQPT，Intelligence Quality per Token）定义为模型平均性能与训练数据量的比值，可以衡量大模型训练数据的“投入产出比”。对比国内外性能领先的同量级开源模型，以Llama3.1作为基准，书生·浦语3.0的数据思维密度高出4倍以上。

通过数据精炼框架，研究团队使书生·浦语3.0大幅提升了数据效率，实现思维密度的跃升。该框架包括以下两个核心要素：

• 数据处理的智能化：为了实现数据的精细化处理，研究团队将数据分为千万个领域，在此类人力难以负担的规模上，通过智能体自我演进技术，大规模自动化质检，根据错例进行反思，为每个领域进行定制化处理。
• 高价值数据的合成：基于通专融合的方式，以通用模型快速迭代合成算法，再精选数据训练专用模型，通过在海量天然数据中进行素材挖掘，改进的树状搜索策略，以及多维度质量验证，合成大量内容丰富，质量可靠的高价值数据。

基于司南OpenCompass开源评测框架，研究团队使用统一可复现的方法，对书生·浦语3.0等模型进行了评测。评测采用了CMMLU、GPQA等十多个权威评测集，维度包括推理、数学、编程、指令跟随、长文本、对话及综合表现等多方面性能。评测结果显示，相比同量级开源模型，书生·浦语3.0在大多数评测集得分领先，综合性能十分接近GPT-4o-mini。

深度思考和常规对话融合，“能言”亦“巧思”

以“通专融合”路径探索通用人工智能，其关键技术之一在于同步提升深度推理与专业泛化能力。本次发布的书生·浦语3.0，首次在通用模型中实现深度思考与常规对话融合，一个模型就能应对更多真实使用场景。

请到「今天看啥」查看全文