InfiniLM v0.2.1发布：新的推理计算后端，多平台支持升级与及服务优化

我们正式发布 InfiniLM v0.2.1 版本，本次更新围绕代码结构重构、多维度功能优化与性能提升，以及对更多模型与计算平台的支持展开，在工程可维护性与稳定性持续改进的同时，进一步提升了 InfiniLM 的整体推理性能表现。

本次更新重点

1. 新的 C++ 推理计算后端

• 全新的运行时管理机制
• 新增由后端完成的算子描述符复用和缓存管理
• 更加充分的内存池实现
  相对于 0.1.0 版本，单轮推理性能有明显提升。

2. 新增 Paged Attention 与请求批处理功能

• 在 Nvidia 平台接入了 Flash Attention 库，作为 paged attention 计算的后端支持
• 在 Nvidia 及多个 CUDA 兼容、类 CUDA 平台，加入了基础版 paged attention 算子作为基础计算选择
• 服务端会自动将多个请求组合成 batch 后投入 paged attention 计算
  提高了显存利用率，增加了多 batch 支持，兼容更长的上下文。

3. 服务功能优化

• 更加通用的服务设计
• 使用 paged kv cache 处理多请求并发
• 推理轮次间的空泡显著降低
  以更低的延时支持了更多的并发数量。

4. CUDA Graph

• 在 CUDA 及多数 CUDA 兼容、类 CUDA 平台支持了 CUDA Graph
• 需要使用分页注意力
  显著降低了 CPU 受限平台上的 CPU 调度开销。

5. 支持更多硬件平台

在原有硬件平台支持的基础上，新增对以下平台的支持：

• 阿里 PPU
• Metax MACA
• QY 计算平台

6. 量化推理

• 在Nvidia平台支持了 w4a16 AWQ FP16 推理

7. 开发者相关

• 将 C++ 源码重新组织到 csrc 文件夹中，实现了更好的功能模块分割
• 通过 pybind11 将 C++ 接口暴露给 Python
• 由后端支持的一段式算子调用和模块支持
• 增加了对静态注意力计算的基础预热功能
• 增加了 Ceval 和 MMLU 精度测试

8. 其他更新

经典推理（src 目录）中新增支持的模型

• Qwen3-VL - 仅文本模型
• Qwen2.5-AWQ
• Qwen2.5-GPTQ

基础依赖

• 算子 / 运行时 / 通信库：InfiniCore
• 版本：commit ed61b51
• 仓库地址：https://github.com/InfiniTensor/InfiniCore

Nvidia 平台可选库

• Flash Attention（main）：10846960ca0793b993446f6dbaf696479c127a9d
• Cutlass（main）：087c84df83d254b5fb295a7a408f1a1d554085cf

版本更新小结

InfiniLM v0.2.1 版本是以工程化为基本导向，同时带来一定性能优化的重要更新。

通过对代码结构的重构与开发流程的优化，该版本在可维护性与测试能力方面得到加强，同时在推理性能与服务能力上实现了提升。

欢迎体验 InfiniLM v0.2.1 ，并持续向我们反馈使用中的问题与建议。

访问项目

欢迎访问 InfiniLM 的 GitHub 主页了解更多详情：
🔗 https://github.com/InfiniTensor/InfiniLM