2026 年 1 月 20 日，2025 冬季 InfiniTensor 大模型与人工智能系统训练营训练系统方向第二课《分布式训练》开讲。

本节课将讲解分布式训练的背景、基本概念、具体策略及其应用。

分布式训练的必要性

• 小模型时代的训练方式：单张显卡即可完成训练，显存占用小，训练时间可接受。
• 大模型时代的挑战：模型参数激增，单张显卡显存不足，无法满足训练需求。
• SOTA 模型参数增长趋势：展示近年来 SOTA 模型参数数量指数级增长，而 GPU 显存容量增长缓慢，导致显存容量与模型规模不匹配。
• 算力需求增长：Transformer 模型计算量需求显著增加，远超芯片算力增长速度。
• 内存墙问题：计算单元速度提升快于内存带宽和访问速度，导致计算单元空闲等待数据传输，影响训练效率。

分布式训练的基本原理

1. 定义与目的：

• 通过模型切分和数据切分，将训练任务分布到多台设备上协同执行，突破单卡显存限制，聚合带宽和算力，缓解内存墙问题。

2. 模型并行与数据并行的区别：

• 模型并行：针对模型大的问题，将模型拆分成多个部分，分布到不同机器上训练。
• 数据并行：针对数据大的问题，将数据拆分成多个小数据片，分布到不同机器上训练。

数据并行

1. 分布式数据并行：

• 数据切分：将数据 x 切分，每个设备上的参数 w 完整。
• 输出拼接：各设备输出拼接得到完整 out。
• 梯度聚合：反向传播时，各设备梯度聚合确保模型参数一致。

2. 梯度聚合算法：

• 参数服务器版本
• Allreduce 版本

3. 数据并行的扩展瓶颈

模型并行

1. 张量并行：分层内矩阵，跨设备计算

• 优点：
  • 将单层中的权重张量按维度切分到多个设备上，降低单设备的权重内存占用
  • 在计算密集、通信带宽充足的场景下，可提升矩阵计算的并行度和整体吞吐
• 缺点：
  • 通信频繁（中间输出需 AllReduce）
  • 将原本的大矩阵切分为小矩阵，可能降低 GPU 矩阵乘效率

2. 流水并行

• 缺点：存在空闲状态，计算资源可能浪费
• 优化策略：Gpipe、1F1B 等，通过细粒度切分和计算减少空闲时间。

3. 专家并行

混合并行

• 混合并行必要性：大规模模型训练需结合多种并行策略。

总结

本节课全面讲述了分布式训练的背景、基本概念、具体策略及其应用。通过详细的知识点讲解和实际案例分析，帮助学员掌握分布式训练的核心技术和方法。

💡 学习贴士

更多细节及完整课程内容，请观看直播或查看课程回放。

链接：https://www.infinitensor.com/camp/winter2025

📚 训练营报名持续进行中

扫码报名与加入群聊，或点击 「阅读原文」 直达官网报名