2026 年 1 月 29 日，2025 冬季 InfiniTensor 大模型与人工智能系统训练营推理引擎系列第五课《大模型服务系统》开讲。

本节课聚焦大模型推理服务系统架构，讲解单用户推理服务与多用户推理服务区别。

大模型推理服务基本功能

1.用户交互功能

• 用户输入与模型推理
• 流式输出与中断推理
• 多轮对话与历史问题修改
• 历史会话记录与管理

2.会话管理

• 会话管理的核心之一是 KV Cache 管理，但同时还包括对话历史、上下文裁剪策略及会话生命周期控制等内容
• KV Cache 的内存分配与最大上下文长度
• 对话总长度超过最大上下文长度的处理方法
  • 保留最近 n 轮对话
  • 对更早的对话进行总结
  • 对用户所有历史对话进行归纳

单用户、多会话实现与优化

1.简单实现方法：

• 每个会话绑定一个 KV cache
• 切换会话时切换 KV cache
• 优点：会话 KV cache 命中率高
• 缺点：KV cache 不能无限分配

2.优化：KV cache 池

• 固定数量 KV cache
• 前缀匹配方式分配
• 缺点：总会话数受限，内存利用率低

3.优化：Paged Attention
（vLLM 核心创新）

• 使用“内存页”思想
• 动态分配内存块
• 内存共享与引用计数
• 在显存约束下支持大规模并发会话
• 复用与内存回收机制

多用户服务实现

1.多用户与单用户区别：

• 多用户服务中，多个用户通过网络接口同时向推理服务发送请求，服务端需要处理并发与调度问题
• 任意数量的请求随时可能出现，服务需要第一时间响应

2.标准 API 介绍

• 业界广泛采用并兼容的 OpenAI 风格 API 接口
• JSON 格式数据传输
• 流式与非流式接口

3.服务层功能

• 接收用户请求
• 请求队列管理
• 身份认证与网络分流

4.调度器功能

（1） 服务多请求

a. 以迭代为单位形成 batch

b. 跨请求批量化计算：

• 可批量化计算部分（MLP 层、RMS norm 等）
• 批量化难度较高的部分（Attention 相关的）

c. Orca 策略：连续批次

• 请求池管理
• 迭代级批次形成与计算
• 混合 PD 请求处理

（2） PD 分离优化

• Prefill 与 Decode 阶段分离
• 不同硬件资源分配

（3） Chunk Prefill 与 Decode-Only Batch

模型层

服务系统架构设计示例

💡 学习贴士

更多细节及完整课程内容，请观看直播或查看课程回放。

链接：https://www.infinitensor.com/camp/winter2025

📚 训练营报名持续进行中

扫码报名与加入群聊，或点击 「阅读原文」 直达官网报名