首个大模型平台技术评估报告：第一！

正文

请到「今天看啥」查看全文

打通生成式AI应用落地“最后一公里”

IDC报告指出，具备覆盖大模型全生命周期的完整工具链是百度智能云千帆大模型平台的重要优势。 针对如何选择模型、如何调优模型效果、如何开发应用这三道企业必答题，千帆3.0提出了业内领先的解决方案。

针对模型选择与效果调优，千帆ModelBuilder不仅向企业客户提供丰富的模型选择，如不同尺寸旗舰模型与主力模型、精专垂类模型、以及传统多模态能力模型等；而且拥有全流程的模型开发工具链能力，支持用户从数据管理、模型调优到模型部署的模型开发全链路。

为支持用户低门槛调优模型效果，千帆ModelBuilder推出Prompt模板与模型精调样板间。前者适用于提示词优化，用户稍作改写，就能增强模型输出效果；后者适用于模型精调，企业照着样板间设置参数，就能训练出符合需求的模型。千帆ModelBuilder还基于全流程工具链推出“模型蒸馏”与“数据飞轮”两大解决方案。模型蒸馏，可帮助数据积累不足的企业，利用文心旗舰级大模型完成数据准备，实现模型精调冷启动。而数据飞轮，则利用应用所产生的真实业务数据，反馈给模型，推动模型迭代，增强应用效果。

针对应用开发，千帆AppBuilder提供企业级Agent、企业级RAG等关键能力。企业级Agent包含自主规划Agent、工作流Agent等功能。在不久前的百度世界2024大会上，千帆平台全新发布“工作流Agent”功能，通过学习企业流程与规范，能适应不同岗位职责，快速成为拥有专业水平的“数字员工”。另外，千帆AppBuilder的企业级RAG功能可帮助落地的生成式AI应用快速“懂业务”。这背后也得益于百度智能云向量数据库VectorDB的全力支持。在IDC发布的《RAG与向量数据库市场前景预测》报告中，VectorDB在核心性能、功能全面性、大模型支持等五个关键领域保持领先，综合排名并列TOP 1。

生成式AI应用爆发式增长，不仅依托于强大的模型推理能力及领先的模型开发、应用开发平台，还要依靠稳定的算力平台支持。 百舸4.0能够极致满足企业客户从集群创建、开发实验，到模型训练、推理的全旅程算力需求，实现AI应用“快稳省”落地。在模型训推开启前，百舸4.0能够实现工具层面的秒级部署，并将万卡集群运行准备时间从几周缩减至1小时，同时提供可观测大盘，能够对多芯适配等方面进行全方位监测，帮助用户更好地把控整体项目。而进入模型训练、推理阶段，百舸4.0可帮助企业极大地节约算力与时间成本。在稳定性方面，结合自研集合通信库BCCL等各类方案，百舸4.0可以保障万卡任务有效训练时长占比达到99.5%，达到业界领先水平；在效率方面，基于AIAK-LLM大模型训推加速套件，百舸4.0实现万卡任务训练加速30%，长文本推理加速100%。与此同时，千帆平台上的全流程工具链也能在模型训推阶段发挥重要作用。比如千帆ModelBuilder提供了非常多压缩功能和推理计算加速功能，在节约50%以上成本的同时，使得模型吞吐可以提升3-5倍，助力企业在模型训练推理过程中进一步降本增效。

请到「今天看啥」查看全文