对话AI原生 | 大模型落地高风险区，如何一步步避开陷阱？

正文

请到「今天看啥」查看全文

李景秋： 大模型服务与开发平台的发展和市场需求趋势紧密相关。 2023年9月，千帆2.0正式对外发布。当时，模型本身正处于快速迭代和发展的阶段，不同的模型厂商纷纷推出各自的开源和闭源大模型，这些模型尺寸和上下文长度各异，整个行业应用状态都处于探索期。所以当时千帆2.0更加强化了平台的能力，聚焦于将更多元、更优质的大模型高效地预置和托管在千帆ModelBuilder上，以便企业快速找到市场上最新、最热门的大模型。总的来说，千帆2.0版本在服务推理调用方面建设相对完善。

进入3.0阶段，客户需求发生了变化。除了追求更好的模型外，客户不再单纯追求参数规模最大、最好的模型，因为这些模型往往成本较高。相反，他们更关注模型在特定场景下的效果，并要求模型更加经济、实惠，以便能够快速应用于大规模场景。因此， 对效果和性能的综合考量成为了2024年市场趋势的一个重要洞察。

与2.0相比，千帆3.0在预置模型层面更加多元化。 除了ERNIE旗舰版3.5、4.0、4.0Turbo之外，还推出了轻量级模型ERNIE Speed、ERNIE Lite、ERNIE Tiny，帮助企业基于轻量级模型快速构建场景化模型，并大幅降低成本。同时，还推出了场景化模型，如ERNIE Character、ERNIE Functions、ERNIE Novel等，帮助企业在特定垂直场景领域选择到匹配自己需求的模型。

在工具链层面，千帆ModelBuilder也进行了大幅扩展，推出了大模型数据洞察一站式工作台，并丰富了数据模型精调算法 ，除了原有的SFT、SFT-LoRA之外，还推出了基于强化学习（RLHF）的DPO、KTO等多种偏好对齐方法。同时，在模型评估和模型压缩方面，平台也提供了更多元和丰富的工具链，帮助企业快速构建自己的场景化大模型，满足业务需求的发展。

InfoQ：当前越来越多的企业已经意识到大模型的巨大潜力和价值，但在如何有效地应用这些模型，实现其价值最大化方面，仍面临诸多挑战。千帆ModelBuilder是如何帮助企业快速上手大模型的？在选择和调用模型方面，千帆ModelBuilder有哪些思路和策略？

李景秋： 当前企业在选择大模型时面临困扰，因为市面上的大模型种类繁多，从大模型的分类层面来看，主要可分为三大类：

• 第一类是 旗舰级模型 ，它们的参数规模较大，擅长解决一些复杂问题，如通用问答场景、规划类、逻辑梳理、代码类等难题。

• 第二类是 轻量级模型 ，它们适用于基于少量指令数据进行快速指令精调的场景，使得轻量版模型在格式遵循类、语气风格遵循类或指令遵循类的场景中表现更佳，其参数规模相对较小。

• 第三类是 垂直场景模型 ，例如ERNIE Character、ERNIE Novel等，这些模型专注于角色扮演、小说类场景，并针对特定服务场景进行了效果优化。

为了帮助企业降低上手难度和选择合适的模型，首先，千帆ModelBuilder提供了模型广场模块，预置了不同厂商的旗舰级模型、轻量级模型和场景化模型，以供企业进行 多元化选择 。

其次，千帆ModelBuilder进行了 基础通用评估 ，将百度对大模型通用性的理解进行了初步测评，并放置在模型广场中，方便企业开发者进入平台后进行初步判断和参考。

千帆ModelBuilder还提供了 快速体验窗口 ，用户可以在模型广场上快速、零门槛地试用大模型，体验其效果。对于需要更专业模型评估的企业，平台提供了 多元化、完整的端到端模型评估工具链 ，包括预置的模型评估基础语料数据，无需准备数据即可进行评估。平台还提供了自动规则评估和自动裁判员评估，以帮助用户更高效地获得整体模型效果。对于有定制模型评估需求的企业，平台提供了开放性的自定义模型评估的prompt模板和自定义裁判员模型，以便进行模型评估，快速在平台上选择和定位适合企业上手的基座模型。

此外，有些企业在模型体验时需要做一些基础的prompt工程，以检验prompt的效果。千帆ModelBuilder 预置了200多个优质的、经过百度工程师产业实践的prompt模板 ，极大地降低了企业的模型选择和尝试门槛，帮助企业快速找到更适合自己场景的模型。这些模板覆盖了金融、教育、电商等多个领域，企业可以迅速找到贴近自己场景的prompt模板，获取可参考的素材。

请到「今天看啥」查看全文