专栏名称: 易安说AI
分享业务架构、技术架构、系统设计方案,以及微服务架构源码,提供业务场景答疑
目录
相关文章推荐
深圳大件事  ·  夜读 | 说话是门艺术,与人沟通记住这几点 ·  12 小时前  
深圳大件事  ·  重要提醒!事关灯光秀,深圳公布最新安排 ·  昨天  
51好读  ›  专栏  ›  易安说AI

DeepSeek公布推理引擎开源路径,OpenAI较上劲了,也将连续一周发布

易安说AI  · 公众号  ·  · 2025-04-15 08:00

正文

请到「今天看啥」查看全文



事实上,各路网友已经开始根据各种草蛇灰线的线索开始猜测这一周将会发布的东西了。说实在的,有一些颇具说服力,而且还有证据。


下面我们首先将介绍「开源 DeepSeek 推理引擎的路径」,然后将简单盘点一番网友对 OpenAI 这周发布内容的预测。


开源 DeepSeek 推理引擎的路径


图片


文档地址:https://github.com/deepseek-ai/open-infra-index/blob/main/OpenSourcing_DeepSeek_Inference_Engine/README.md


以下为 DeepSeek 发布的文档的原文译本:


几周前,在开源周期间,我们开源了多个库。社区的反响非常积极 —— 激发了鼓舞人心的合作、富有成效的讨论以及宝贵的错误修复。受此鼓舞,我们决定更进一步: 将我们的内部推理引擎回馈给开源社区


我们非常感谢开源生态系统,没有它,我们不可能在通用人工智能 (AGI) 方面取得进展。我们的训练框架依赖于 PyTorch,我们的推理引擎基于 vLLM,这两者都对加速 DeepSeek 模型的训练和部署起到了重要作用。


鉴于部署 DeepSeek-V3 和 DeepSeek-R1 等模型的需求日益增长,我们希望尽己所能回馈社区。在我们起初考虑将完整的内部推理引擎开源时,我们发现了一些挑战:


  • 代码库差异:我们的引擎基于 vLLM 一年多前的一个早期分支。虽然结构相似,但我们针对 DeepSeek 模型对其进行了大量定制化处理,因此难以扩展到更广泛的用例。

  • 基础设施依赖:该引擎与我们的内部基础设施(包括集群管理工具)紧密耦合,如果不进行重大修改,就无法进行公开部署。

  • 维护带宽有限:作为一个专注于开发更优质模型的小型研究团队,我们缺乏维护大型开源项目的带宽。







请到「今天看啥」查看全文