学习资料
全部
2026 夏季 InfiniTensor 训练营通信与并行 1：《互联、集群与通信》
发表于：

2026 夏季 InfiniTensor 训练营通信与并行方向 1：《互联、集群与通信》

7 月 15 日，2026 夏季 InfiniTensor 训练营通信与并行方向第一课《互联、集群与通信》开讲。
本节课程为分布式训练、分布式推理前置基础课，完整梳理 AI 算力集群硬件互联、单机/多机通信底层硬件、协议、拓扑全套知识，搭建高性能并行通信底层认知框架。

课程定位与前置依赖

系列课程整体规划

通信与并行方向基础课程共 2 节，搭配 1 节行业合作实战课；本节课为系列开篇，聚焦硬件互联与底层通信原理，下一节讲解分布式训练/推理通信算子与优化策略。

课程核心目标

区分通用互联网通信与 AI/HPC 高性能通信差异，拆解单机 GPU 互联、跨机集群通信硬件链路，掌握 PCIe、NVLink、RDMA、IB/RoCE 等核心通信技术，看懂算力集群网络拓扑。

AI 领域通信核心需求

为什么必须分布式通信

  1. 大模型规模带来硬件瓶颈
    大模型参数量、训练数据规模持续膨胀，单台服务器内存、算力无法承载完整模型与数据集，必须采用多卡/多机分布式拆分计算：
  • 单机多卡：同一服务器多张 GPU 分担计算与参数存储
  • 多机集群：多台服务器协同完成超大模型训练、批量推理

  1. MoE 混合专家模型特殊通信负载
    MoE 架构存在路由分发、专家结果聚合逻辑，会产生大量 All-to-All 类通信，通信带宽、延迟直接决定模型吞吐，对底层互联硬件提出极高要求。
  2. 边缘计算
    云端、边缘设备协同训练/推理，存在跨地域异构设备数据交互，兼顾通用网络与轻量化高性能通信需求。

通用通信 vs AI/HPC 高性能通信

  1. 通用互联网通信：主体为 CPU 跨主机传输，追求远距离兼容，延迟、带宽优先级低
  2. AI 高性能通信：核心主体为 GPU 之间数据交互，分为单机内 GPU 通信、跨机集群通信，极致追求低延迟、高带宽、零拷贝，是训练/推理性能核心瓶颈

PCIe 总线体系

PCIe 核心定义

PCIe（Peripheral Component Interconnect Express）现代服务器标准 IO 点对点串行总线，替代传统共享式 PCI 总线，CPU、GPU、网卡等外设统一通过 PCIe 挂载。

PCIe 四大核心特性

  1. 点对点独立通道：各外设拥有专属总线，无总线资源抢占，避免多设备传输冲突
  2. Full-duplex 全双工双向传输：同一通道可同时收发数据，吞吐翻倍
  3. 串行总线：规避并行总线高频电磁干扰，支持更高传输频率
  4. 多通道扩展（x1/x4/x8/x16）：显卡、高速网卡标配 x16 通道，低速外设使用窄通道节省插槽

PCIe 速率换算逻辑

  • GT/s：物理层单通道原始传输速率
  • 编码损耗：PCIe 3.0/4.0 采用 128b/130b 编码，存在固定带宽损耗
  • 实际有效带宽 = 通道数 × 单通道速率 × 编码系数 ÷ 8（bit 转 Byte）

传统 GPU 通信痛点：CPU 内存中转

原生 PCIe 架构下 GPU 直传数据流程：GPU0 → CPU 内存 → GPU1，存在两大损耗：

  • CPU 参与拷贝占用计算资源
  • 主机内存额外读写，增加延迟与带宽消耗

解决方法：

  1. DMA（直接内存访问）
    专用硬件传输引擎，CPU 仅下发传输指令，数据搬运全程无需 CPU 持续参与，解放 CPU 算力。

  2. P2P（Peer-to-Peer）
    硬件支持时，GPU 可绕过主机内存，直接互相访问显存，消除主机内存中转开销。

PCIe Switch 交换芯片

解决主板 PCIe 通道数量不足问题，树状分层拓展外设挂载能力，不同 GPU 经过 Switch 的传输路径长短直接影响通信延迟。

多 CPU 服务器内存架构

  1. UMA（统一内存访问）：多 CPU 共享内存池，跨 CPU 访问延迟低，拓展能力弱

  1. NUMA（非统一内存访问）：各 CPU 配套独立内存，跨 CPU 访问开销大；工程通过 GPU-CPU 亲和绑定优化延迟

GPU 互联拓扑查看工具

英伟达 nvidia-smi topo -m，输出 GPU 间链路标识：

  • PIX：同 PCIe Switch 短链路，延迟极低

NVLink 高速互联

NVLink 定位

英伟达专用 GPU 直连网状互联硬件，独立于 PCIe 总线，专为多卡高性能并行设计。

核心优势

  • 拓扑：NVLink 提供 GPU 间高速点对点互联，具体连接方式取决于服务器与 GPU 型号；配合 NVSwitch 时，可构建高带宽的 GPU 全互联通信域
  • 带宽：NVLink 4 带宽远超 PCIe 5.0 x16，大幅降低多卡同步、参数拷贝延迟
  • 配套 GPU P2P 增强：支持跨卡显存直接读写，适配大规模张量并行、流水线并行

带宽量级对比：

  • PCIe 5.0 x16：双向合计约 126 GB/s
  • NVLink 4.0：约 900 GB/s
    深度学习多卡通信优先使用 NVLink 链路，速度优势显著。

跨机通信与网卡

NIC 网卡基础

NIC（Network Interface Card）网络接口卡，职责是接入计算机网络，发送和接收数据；通过 PCIe 总线挂载到系统中。

传统跨机 GPU 通信流程

GPU 数据 → CPU 内存 → CPU 协议栈处理 → NIC → 网络 → 对端 NIC → 对端 CPU → 对端 GPU

核心瓶颈：CPU 必须参与网络协议栈处理，即使支持 DMA/P2P 也无法绕过 CPU 协议栈开销。

RDMA 远程直接内存访问

RDMA 核心定义

RDMA（Remote Direct Memory Access）将 DMA 技术拓展到机器之间，在完成连接建立和内存注册后，数据传输关键路径可绕过传统内核网络协议栈，从而降低 CPU 开销和通信延迟。

RDMA 三大技术特点

  1. 零拷贝（Zero Copy）：数据可在本端和远端已注册的内存区域之间直接传输
  2. 内核旁路（Kernel Bypass）：用户态驱动直接操作网卡，无需切换内核态
  3. GPU Direct RDMA：英伟达 GPU 跨机 P2P 技术拓展

RDMA 三大实现方式

  1. InfiniBand（IB）
  • 原生为 RDMA 设计的专用网络技术，可构建低丢包、低延迟的无损网络环境
  • 延迟最低，性能最优
  • 需要专用 HCA 网卡与 IB 交换机，成本高，无法复用以太网
  • 广泛应用于高端 HPC、AI 集群数据中心

  1. RoCE（RDMA over Converged Ethernet）
  • 复用以太网基础设施，基于 UDP/IP
  • RoCE v2 为当前主流，支持 DCQCN 拥塞控制
  • 延迟略高于 IB，造价远低于 IB
  • 广泛应用于 HPC 与 AI 数据中心
  1. iWARP
  • 基于 TCP/IP，无需专用交换机
  • 完全复用以太网，造价低
  • TCP 协议机制导致延迟较高，AI/HPC 领域应用较少

数据中心与服务器

三类数据中心

  1. 通算：以 CPU 为主，传统通用计算集群，注重灵活通用、高兼容
  2. 超算：CPU + GPU 加速器联合构建，解决科学/工程级复杂问题，注重高性能并行与高精度
  3. 智算：以 GPU 和 ASIC 专用加速器为主，聚焦 AI/机器学习任务，注重 AI 并行计算与高效数据处理，倾向低精度量化

三类服务器形态

  1. 塔式服务器：类似立式 PC，成本低部署简单，不适合大规模拓展
  2. 机架式服务器：空间利用率高，易于拓展，集中管理维护，GPU 服务器主流形态
  3. 刀片服务器：密度极高，共享基础设施，热密度极高，CPU 场景应用较多

散热类型

  1. 风冷：成本低维护方便，散热能力有限，噪音大，空间利用率低
  2. 液冷
    • 冷板式液冷：热源安装冷板，冷却液循环带走热量，当前主流商用方案
    • 沉浸式液冷：整机浸入绝缘冷却液，散热效率极高但部署维护复杂成本高

算力拓展方式

  1. Scale Up（垂直扩展）：增加单节点算力资源，受硬件物理上限约束

  1. Scale Out（水平扩展）：增加更多节点，核心挑战是节点间通信延迟，需搭配 IB 等高速网络

  1. Scale Across（跨域扩展）：跨多数据中心地理扩展，延迟、一致性、异构兼容问题多，实际应用较少

  1. 超节点（Super Node）
    高度集成的高性能计算单元，通过高速互联技术形成 HPD（高速互联域），配备统一内存编址（UMA），解决通信瓶颈与算力协同效率问题，代表如英伟达 GB200 NVL72。

网络拓扑结构

传统三层树状结构

  • 接入层：ToR 交换机连接服务器
  • 汇聚层：汇聚接入流量，执行安全路由策略
  • 核心层：高速转发，连接外部网络
    适合南北向流量为主的传统数据中心，东西向流量效率低，横向拓展性差。

Spine-Leaf 叶脊结构

扁平化两层架构：上层 Spine、下层 Leaf，所有 Leaf 与 Spine 全互联，通过冗余路径消除带宽瓶颈。

适配 AI/云计算东西向流量为主的场景，是现代数据中心主流架构。

其他专用拓扑

  • Torus：网络直径小、性价比高，依赖有效拥塞控制与自适应路由
  • Fat-Tree：胖树结构，高带宽冗余
  • Torus 高维拓扑：临近性强的科学计算应用友好

通信发展前沿趋势

算网协同

网络感知计算需求，动态调整自身资源，以最优方式服务计算；在数据中心、云边端一体化、算力网络架构中至关重要。

在网计算

网络设备具备数据处理能力，将部分计算任务卸载到网络设备执行，类似智能网卡与普通网卡的区别，让网络本身参与计算。

加入训练营

📺完整课程内容，请观看直播或查看课程回放：
InfiniTensor 官网： https://www.infinitensor.com

B站直播： InfiniTensor 官方直播间

视频号直播： InfiniTensor 视频号预约

答疑交流： 训练营官方社群⬇️

Description

2026 夏季 InfiniTensor 训练营《互联、集群与通信》，从 AI 领域通信需求出发，完整梳理 PCIe 总线体系、单机直传优化、NVLink 高速互联、RDMA 跨机通信三大实现、数据中心服务器架构、网络拓扑结构核心模块，区分通用通信与高性能通信差异，拆解算力集群底层互联全套硬件与协议知识，为分布式训练推理搭建完整底层通信认知框架。

关注与交流

2026 夏季 InfiniTensor 训练营推理引擎 2：《大模型原理与结构》
上一篇
2026 夏季 InfiniTensor 训练营 AI 编译器 1：《AI 编译器概述》
下一篇