|
小白视角:利用 vllm serve 新的 Embedding Model GiantPandaLLM · 公众号 · 3D · 7 月前 · |
|
|
小白视角:利用 SGL 来 Serve Embedding Model GiantPandaLLM · 公众号 · 3D · 7 月前 · |
|
|
小白视角:vllm 迁移到 SGLang 的体验与收获 GiantPandaLLM · 公众号 · 3D · 7 月前 · |
|
|
【ml-engineering 翻译系列】计算加速器之cpu GiantPandaLLM · 公众号 · 3D · 7 月前 · |
|
|
梳理下Flash Attention的dispatch逻辑(文末免费送书) GiantPandaLLM · 公众号 · 3D · 7 月前 · |
|
|
图解大模型训练系列:序列并行3,Ring Attention GiantPandaLLM · 公众号 · 3D · 7 月前 · |
|
|
【ml-engineering 翻译系列】训练之模型并行 GiantPandaLLM · 公众号 · 3D · 7 月前 · |
|
|
图解大模型训练系列:序列并行2,DeepSpeed Ulysses GiantPandaLLM · 公众号 · 3D · 7 月前 · |
|
|
【翻译】在FSDP2中开启Float8 All-Gather GiantPandaLLM · 公众号 · 3D · 7 月前 · |
|
|
图解大模型训练系列:序列并行1,Megatron SP GiantPandaLLM · 公众号 · 3D · 7 月前 · |
|
|
【ml-engineering 翻译系列】AI系统中的网络 benchmark GiantPandaLLM · 公众号 · 3D · 7 月前 · |
|
|
OpenAI o1技术初探3:如何让模型拥有自我纠错的能力 GiantPandaLLM · 公众号 · 3D · 7 月前 · |
|
|
【ml-engineering 翻译系列】AI系统中的网络 debug GiantPandaLLM · 公众号 · 3D · 7 月前 · |
|
|
OpenAI o1 技术初探2:使用MCTS增强推理能力(基于代码实践的解读) GiantPandaLLM · 公众号 · 3D · 7 月前 · |
|
|
【ml-engineering 翻译系列】AI系统中的网络概述 GiantPandaLLM · 公众号 · 3D · 7 月前 · |
|
|
【ml-engineering 翻译系列】大模型推理 GiantPandaLLM · 公众号 · 3D · 7 月前 · |
|
|
【翻译】使用PyTorch FSDP和Torch.compile最大化训练吞吐量 GiantPandaLLM · 公众号 · 3D · 7 月前 · |
|
|
课程升级、资源加码!万人共学的书生大模型实战营第4期正式起航! GiantPandaLLM · 公众号 · 3D · 7 月前 · |
|
|
OpenAI o1 技术初探1:整体框架,利用Test-Time Scaling Law提升逻辑推理... GiantPandaLLM · 公众号 · 3D · 8 月前 · |
|
|
【翻译】使用PyTorch FSDP最大化训练吞吐量 GiantPandaLLM · 公众号 · 3D · 8 月前 · |
|