2026 夏季 InfiniTensor 训练营推理引擎 2：《大模型原理与结构》

7 月 16 日，2026 夏季 InfiniTensor 训练营推理引擎方向第二课《大模型原理与结构》开讲。
推理引擎系列课程共 6 节，前置课程《AI 模型导论与推理基础原理》介绍了人工神经网络的基础知识，vec2vec 任务、矩阵乘、激活函数等内容，从本节课开始，正式进入大模型推理系统的核心领域。作为系列课程的第二讲，我们将深入拆解大模型的基石——Transformer 架构。

为什么需要 Transformer？

传统神经网络的局限

Vector to Vector：输入输出维度固定，不便于直接处理变长序列（如手写数字识别）。
独立计算缺陷：矩阵乘法中各输入向量相互独立，无法感知“道可道”中不同位置“道”字的语义差异。

Sequence to Sequence

变长映射：输入和输出均可为变长序列，二者长度不必相等（如翻译、文本生成、语音识别）。
上下文依赖：词义随位置变化，需捕捉全局信息。

早期解决方案及其瓶颈

滑动窗口：仅能捕获局部固定范围上下文。

循环神经网络 (RNN)：

优点：理论支持无限长上下文（记忆模块 H 传递）。
缺点：梯度消失/信息衰减；串行计算导致硬件算力利用率低，无法并行。

自注意力机制 (Self-Attention)

核心思想

上下文 = 当前输入与其他所有输入的相关性分布。
突破窗口限制，实现全局信息交互。

`Q`-`K`-`V` 计算流程

线性映射：通过神经网络计算得到 Query、Key、Value 矩阵。
注意力分数：$alpha = q cdot k$
大模型算子 Softmax：将分数转换为概率分布（和为 1）。
Safe Softmax：减去最大值防止指数爆炸，保证数值稳定性。

因果掩码 (Causal Mask)：主要用于自回归注意力，屏蔽未来 Token，防止训练时“作弊”。

矩阵并行化：将逐对向量运算转化为矩阵乘法，充分利用 GPU 算力。

旋转位置编码 (`RoPE`)

解决痛点：不包含位置信息的自注意力具有排列等变性，本身无法区分 Token 的先后顺序，因此需要显式引入位置信息。
原理：通过绝对位置的三角函数（sin/cos）对 Q、K 向量进行几何旋转。
优势：相对位置信息自然融入点积运算；角度表可预计算，推理高效。

自注意力层

多头注意力

动机：隐藏表示划分为多个注意力头，使模型能够在不同表示子空间中并行学习不同类型的语义关系和位置关系。
机制：多组独立的 Q、K、V 并行计算，捕获不同子空间的语义相关性。

解码器（Decoder）模块

Decoder 模块标准组件

RMSNorm：基于均方根的归一化方法，通过对隐藏状态进行尺度归一化，改善深层网络训练和推理过程中的数值稳定性。
Residual：残差连接，缓解梯度消失，保留原始信息。
多层感知器 MLP：

如何构建词表

分词算法：BPE（字节对编码）、WordPiece、Unigram；平衡词表大小与语义完整性。

Tokenizer：

文本嵌入（Embedding）层：

输入嵌入：Token ID → 稠密语义向量（索引查找）。
输出嵌入：隐藏状态 → 词表 Logits（矩阵乘法）。

大模型模型结构

作业指引

课后 Q&A

Q: 自注意力模块后的 MLP 和 FFN 是一个东西吗？

A: 是的。MLP（多层感知器）与 FFN（前馈神经网络）在本课程语境下指代同一组件，即 Decoder Block 中的非线性变换层。

加入训练营

📺完整课程内容，请观看直播或查看课程回放：

InfiniTensor 官网： https://www.infinitensor.com

B站直播： InfiniTensor 官方直播间

视频号直播： InfiniTensor 视频号预约

答疑交流：训练营官方社群⬇️

Description

2026 夏季 InfiniTensor 训练营《大模型原理与结构》，详解 Transformer 自注意力机制、QKV 计算流程、RoPE 旋转位置编码及 Decoder 模块原理。涵盖从 RNN 局限到 Seq2Seq 任务演进、Safe Softmax 数值优化、多头注意力并行计算，以及 BPE 分词与 Embedding 嵌入层实现。