专栏名称: GiantPandaLLM

专注于机器学习、深度学习、计算机视觉、图像处理等多个方向技术分享。团队由一群热爱技术且热衷于分享的小伙伴组成。我们坚持原创，每天一到两篇原创技术分享。希望在传播知识、分享知识的同时能够启发你，大家一起共同进步(･ω<)☆

SGLang Team：在 96 个 H100 GPU 上部署具有 PD 分解和大规模专家并行性的 ...

GiantPandaLLM · 公众号 · 3D · 2025-05-06 18:20

正文

是每个设备上隐藏状态的大小（DP等级），是模型参数的数量，是表示 CUDA Graph 复制额外内存开销的系数。假设，当

推荐文章

装修情报 · 低调有趣味，它就是别墅界的一股清流

8 年前

跟大厨学做菜 · ✅女性性欲强不强，看4个地方！！（看完别脸红）

8 年前

佛山发布 · 佛山，这座充满温情和大爱的文明城市，今天向大家倡议……

7 年前

药学进展 · 孤儿药研发多方协奏曲—第三届中国孤儿药研发论坛精彩回顾III

7 年前

锣鼓巷 · 财新将全面收费 “财新通”问世

7 年前