2026 年 1 月 30 日，2025 冬季 InfiniTensor 大模型与人工智能系统训练营推理引擎系列第六课《vLLM-Ascend 大模型推理》开讲。

本节课主要讲解 vLLM-ascend 整体规划和架构以及核心技术内容。

vLLM+vLLM-ascend 整体规划和架构

社区演进概述

• 回顾社区在推理引擎领域的发展历程。
• 强调开源与性能并重的重要性。
  

华为昇腾技术路线

• 以开源为基础，与社区紧密配合，回馈社区。

昇腾推理架构解析

架构概览

• 华为MindIE推理引擎与业界开源生态引擎（如LLM、TensorFlow TGI、Triton）的对比。

计算架构层

• 对标 CUDA 的计算架构设计。

框架 Plugin 层

• 介绍 vLLM-Ascend 作为 vLLM 框架的 Plugin，实现硬件层适配。

vLLM 核心技术

1. Paged Attention

• 解决内存碎片与显存浪费问题，通过分页内存分配提高资源利用率。

2. Continuous Batching

• 与 Paged Attention 配套使用，提高 GPU/NPU 算力和显存利用率。

3. vLLM-Ascend 插件

• 硬件层适配，屏蔽 GPU 与 NPU 差异，支持无缝迁移。
• 降低二次开发门槛，支持模型零拷贝。

4. 安装与调用流程

5. ACL Graph与性能优化

（1）ACL Graph 概念

• 对标CUDA graph，实现一次捕获、多次重放，减少空泡。

（2）性能优化策略

• 提高系统并行度，减少无法并行部分。
• 介绍 vLLM 如何通过提高应用层系统并行度实现性能提升。

推理精度分析方法

精度分析工具

1. 介绍 OpenCampass、EvalScope、AISBench 等工具。

2. 强调通过跑数据集获取精度指标的方法。

常见问题与解决方案

• 介绍如何通过调整参数和模型设计提高精度。

Badcase 分析

1. 如何定位和分析 Badcase，找出精度不达标的原因。

2. 基于MSProbe工具的精度数据采集

推理性能分析方法

性能分析工具

使用 AISBench 进行性能测评：

• 配置随机数据集
• 指定模型和数据集
• 通过命令行启动性能测评

性能问题定位

性能数据分析

• op_statistic.csv
• trac_view.json

PD 分离场景调优

• PD 分离场景调优：通过解耦预填充（Prefill）与生成（Decode）阶段，突破 KV Cache 导致的吞吐瓶颈。
• 介绍如何通过调整 PD 配比和预期 TPS 来优化系统性能。

vLLM-ascend 推理部署流程

环境准备

• 使用 npu-smi info 检查 NPU 驱动固件安装情况。
• 推荐使用 Docker 进行部署。

模型下载与安装

• 介绍如何通过 ModelScope 下载模型。
  强调安装 vLLM 与 vLLM-Ascend 的步骤。

离线与在线推理

• 介绍离线与在线推理的使用方式与区别。
• 强调 vLLM-Ascend 与 vLLM 使用方式的一致性。

常用特性与入参介绍

• 环境变量
• 推理参数

注意事项

💡 学习贴士

更多细节及完整课程内容，请观看直播或查看课程回放。

链接：https://www.infinitensor.com/camp/winter2025

📚 训练营报名持续进行中

扫码报名与加入群聊，或点击 「阅读原文」 直达官网报名