7 月 24 日，2026 夏季 InfiniTensor 训练营推理引擎方向第三课《从大模型推理到 AI 对话》开讲。
前两课依次讲解神经网络基础、Seq2Seq 任务演进，完整拆解 Transformer 自注意力、RoPE、多头注意力、Decoder 模块、分词与嵌入层底层结构，为本节推理与对话工程落地打好理论基础。

本节课承接前两课 Transformer 底层结构知识，讲解因果语言模型生成逻辑、KV Cache 核心加速机制，以及 Chat Template、采样策略、模型文件等对话推理完整落地知识。

因果语言模型：文本生成

分类任务到文本生成转换

词性标注属于序列标注任务，每个输入 Token 对应一个类别标签；而故事续写、问答对话属于自回归文本生成任务。

实现思路：将下一个 Token 的预测转为词表范围内分类，词表有限则生成可能性可控，每次仅预测单个 Token，循环迭代输出完整文本。

逐 Token 多轮生成流程

1. 输入一段上下文文本送入模型；
2. 模型计算全部上下文特征，输出词表维度概率分布；
3. 采样选出概率最高/符合随机策略的下一个 Token；
4. 将新 Token 拼接至原始上下文，作为下一轮输入；
5. 循环直至模型输出结束标记 </s> 终止生成。

原生推理性能缺陷

无缓存机制时，每轮生成都需要重新计算历史 Token 的 K/V，并重新计算完整 Attention，随着上下文长度增加，单步计算成本持续增长。

KV Cache 推理核心加速机制

核心原理

每一轮推理保存所有历史 Token 的 K / V 向量缓存，后续生成新 Token 时仅计算当前 QKV，复用历史缓存，计算复杂度降至 O(N)。

• 历史 K、V 无需重复矩阵乘；
• 仅新增当前 Token 的 Q、K、V，并将新的 K/V 写入缓存；计算 Attention 时使用当前 Q 与历史缓存的全部 K/V 进行交互。

两大推理阶段划分

1.Prefill 阶段

Prefill 阶段一次性处理完整输入上下文，计算并缓存所有历史 Token 的 KV，同时生成首个待生成 Token 的概率分布，为后续 Decode 阶段提供起点。

2.Decode 阶段

Decode 阶段每轮输入当前待计算的单个 Token，同时读取历史 KV Cache，仅计算该 Token 对历史上下文的注意力结果，并生成下一个 Token。

AI 对话系统实现方案

对话本质：带角色标识的文本续写

普通文本续写无身份区分，对话需要区分 User / Assistant 两类发言主体，通过专用 Tag 标记角色边界，让模型识别交互逻辑。

Messages 对话数据结构

统一对话存储格式，每条消息包含两个核心字段：

• role：角色（user / assistant / system）；
• content：对应文本内容。

Chat Template 对话模板引擎

基于模板语言渲染 Messages 列表为模型可识别完整文本，内置循环、判断逻辑，自动拼接各类角色 Tag。

1. System 系统提示词：置于文本最前端，约束模型回答风格、安全边界、输出格式；
2. 思考专用 Tag：部分模型支持前置思考段，可手动截断强制结束思考；
3. Tag 需匹配模型训练阶段使用的模板格式，否则模型可能无法正确理解角色边界，导致生成质量下降或输出异常。

生成采样策略详解

模型输出原始结果为 Logits 原始分值，经 Softmax 转为概率分布，通过采样算法选取下一个 Token。

Argmax 采样

永久选取概率最大值 Token，输出固定、无多样性，易出现循环重复语句。

随机基础采样

• 基于概率加权随机选取，相同输入可产出不同回答；
• 但低概率非法词汇有被选中风险。

Top-K 采样

• 仅保留概率排名前 K 的 Token 作为候选池，过滤极低概率无效词汇；
• 缺陷是固定 K 值无法适配各类文本分布。

Top-P 核采样

累加概率至阈值 P，动态截取候选集合，灵活适配稀疏/密集概率分布，工程常用方案。

Temperature 温度系数

缩放 Logits 分布：

• T > 1：分布平滑，多样性提升；
• T → 0：分布陡峭，趋近 Argmax。

Beam Search

• 保留多条高概率生成分支全局择优，文本流畅度更高；
• 缺点是内存、算力开销大，线上推理极少使用。

Hugging Face 与 Transformers 库

1. config.json：存储模型全局超参数（隐藏层维度、头数、MLP 尺寸等）；
2. Safetensors 以安全、高效的方式保存模型张量数据，通过参数名称映射到模型结构中的对应权重。

课程作业提示

1. 仔细阅读作业 README，所有实现步骤、约束均有完整说明；
2. 作业难度较高，建议尽早动手实践，疑问可在训练营官方社群咨询；
3. 后续课程会安排专项作业答疑与完整项目讲解。

加入训练营

📺完整课程内容，请观看直播或查看课程回放：

InfiniTensor 官网： https://www.infinitensor.com

B站直播： InfiniTensor 官方直播间

视频号直播： InfiniTensor 视频号预约

答疑交流： 训练营官方社群⬇️

关注与交流