2026 年 1 月 13 日，2025 冬季 InfiniTensor 大模型与人工智能系统训练营训练系统系列第一课正式开讲，课程主题为《训练基础介绍》。

本节课程主要介绍一些训练相关的基础知识，同时介绍一下团队正在开发的自研训练框架 InfiniTrain。

神经网络基础概念

神经网络的基本组成结构

• 输入层 / 隐藏层 / 输出层

优化算法与损失函数

1.梯度下降法

2.损失函数类型

交叉熵损失（分类任务）
均方误差损失（回归任务）

激活函数详解

反向传播的教学基础

• 链式法则数学原理
• 反向传播具体流程

PyTorch 核心机制

1.Autograd 自动微分机制

2.构建 Function 计算图

3.PyTorch 梯度计算规则

4.requires_grad 参数作用

混合精度训练

• torch.amp
• Nvidia APEX
• 分层混合精度策略

分布式训练策略

1.并行训练基础

• 数据并行原理
• 模型并行策略
• 混合并行方法

2.高级并行技术

• 张量并行实现
• 序列并行优化
• 流水线并行设计

显存优化技巧

1.大模型训练挑战

• 显存占用分析
• 优化策略概述

2.具体优化技术

• ZeRO (Zero Redundancy Optimizer)
• 梯度检查点机制
• 显存高效训练方法

强化学习与 DeepSeek 入门

1.强化学习基础

• 基本概念与原理
• 常用算法介绍

2.DeepSeek

• 架构特点与应用
• 实践入门指导
• 实践环节与作业要求

自研框架 InfiniTrain

• 框架架构介绍
• Kernel 层（CUDA 内核）
• Autograd 层（自动微分）
• NN层（模型构建）
• 示例模型实现
• GPT-2 训练示例
• LLaMA-3 训练示例

总结与展望

本节课深入理解前向传播、反向传播与梯度优化等训练核心基础。后续将系统学习分布式策略与自研框架实践，全面提升工程能力。

💡 学习贴士

更多细节及完整课程内容，请观看直播或查看课程回放。

链接：https://www.infinitensor.com/camp/winter2025

📚 训练营报名持续进行中

扫码报名与加入群聊，或点击 「阅读原文」 直达官网报名