文章总数 1000+
51好读  ›  专栏  ›  GiantPandaLLM
专注于机器学习、深度学习、计算机视觉、图像处理等多个方向技术分享。团队由一群热爱技术且热衷于分享的小伙伴组成。我们坚持原创,每天一到两篇原创技术分享。希望在传播知识、分享知识的同时能够启发你,大家一起共同进步(・ω<)☆
小白视角:利用 vllm serve 新的 Embedding Model
GiantPandaLLM  ·  公众号  · 3D  ·  7 月前  · 
小白视角:利用 SGL 来 Serve Embedding Model
GiantPandaLLM  ·  公众号  · 3D  ·  7 月前  · 
小白视角:vllm 迁移到 SGLang 的体验与收获
GiantPandaLLM  ·  公众号  · 3D  ·  7 月前  · 
【ml-engineering 翻译系列】计算加速器之cpu
GiantPandaLLM  ·  公众号  · 3D  ·  7 月前  · 
【ml-engineering 翻译系列】训练之模型并行
GiantPandaLLM  ·  公众号  · 3D  ·  7 月前  · 
【翻译】在FSDP2中开启Float8 All-Gather
GiantPandaLLM  ·  公众号  · 3D  ·  7 月前  · 
【ml-engineering 翻译系列】大模型推理
GiantPandaLLM  ·  公众号  · 3D  ·  7 月前  · 
【翻译】使用PyTorch FSDP最大化训练吞吐量
GiantPandaLLM  ·  公众号  · 3D  ·  8 月前  ·