专栏名称: GiantPandaLLM
专注于机器学习、深度学习、计算机视觉、图像处理等多个方向技术分享。团队由一群热爱技术且热衷于分享的小伙伴组成。我们坚持原创,每天一到两篇原创技术分享。希望在传播知识、分享知识的同时能够启发你,大家一起共同进步(・ω<)☆
目录
相关文章推荐
GiantPandaLLM  ·  [Triton编程][基础]vLLM ... ·  昨天  
51好读  ›  专栏  ›  GiantPandaLLM

《超大规模AI实战手册》PDF领取

GiantPandaLLM  · 公众号  · 3D  · 2025-03-13 00:00

正文

请到「今天看啥」查看全文


  • • 实用公式
  • 实用步骤

    • • 单个GPU训练
    • • 数据并行(Data Parallelism)
    • • 张量并行(Tensor Parallel)
    • • Transformer块中的张量并行

    参考文献

    • • Sequence Parallel
    • • Context Parallel
    • • Ring Attention
    • • Zig-zag Ring Attention
    • • Pipeline Parallel
    • • AFAB
    • • Zero Bubble & Dual Pipe
    • • Expert Parallel






    请到「今天看啥」查看全文