2026 年 1 月 28 日，2025 冬季 InfiniTensor 大模型与人工智能系统训练营 AI 编译器系列第七课《(MLIR)AscendNPU IR 编译堆栈》开讲。

本节课主要讲解 AscendNPU IR 架构。

AscendNPU IR 架构概述

Triton-Ascend + AscendNPU IR

MLIR 简介：

1. 定义：

• MLIR（Multi-Level Intermediate Representation）是一种开源的编译基础设施，旨在通过统一且可扩展的中间表示解决软件碎片化和编译效率问题。

2. 特点：

• 多层方言（Dialects）支持，从高层计算图到低层硬件指令的全栈抽象。

AscendNPU IR 引入：

• 背景：为了支持更多前端编程语言和硬件平台，特别是在NPU（如昇腾NPU）上的优化。
• 目标：通过 AscendNPU IR 实现高效编译和硬件优化。

AscendNPU IR 架构详解

整体架构：

1. 方言层级：

• AscendNPU IR 采用多层方言设计，主要包括 Hfusion 和 HIVM 两层核心方言，辅以Annotation、HACC、Scope等辅助方言。

2. 转换流程：

• 从前端 DSL 到 Triton IR，再到 TritonGPU IR（或 MLIR 公共方言如 Linalg），最终转换为AscendNPU IR，并编译成二进制文件。

3. 核心方言解析：

• Hfusion：
  • 设计原理： 基于 Linalg 的扩展，采用命名 OP 保留高层语义信息。
  • 功能： 数据预处理、OP 简化、类型转换等，不直接涉及硬件细节。
  • 优化： 合法性检查、冗余操作消除、高层 OP 分解等。
• HIVM：
  • 设计原则： 轻量化抽象硬件表达能力，每个 OP 处理一个单元操作。
  • 功能： 支持硬件特定操作，如 Cube 类算子的快速构建，通过 Microop 封装复杂操作。
  • 优化： 内存分配、指令映射、流水并行等。

4. 辅助方言：

• Annotation： 传递属性信息，如内存优化提示。

• HACC： 定义异构硬件相关信息，如函数类型、硬件单元信息。

• Scope： 代码区域标记，支持代码分块和函数提取。

HFusion 方言关键 Pass

昇腾硬件架构：

• AIC核与AIV核分离，各自拥有专属内存和计算单元。
• 核间数据交互通过Global Memory（GM）进行。

HFusion 方言 OP 设计

HFusion 预处理层

1. Legalize BF16

2. OP Simplification

3. Decomposition

HIVM 方言关键 Pass

HIVM OP 设计原则

• 基础 OP：根据每条芯片指令自底向上轻量化抽象，根据芯片能力校验 OP 约束。
• Macro OP：根据业务场景抽象，由多个处理单元操作复合组成。

HIVM OP 属性设计

HIVM OP Interface 设计

HIVM CV 融合编译优化

HIVM 片上内存映射

1. 片上内存空间推导

2. 片上内存格式推导

3. 片上内存自动对齐

调优选项及 Hint

毕昇调优编译选项

• 控制多层编译，灵活选择对接层
• 进行功能调试，排查精度
• 细粒度调优性能
  

细粒度调优 Compiler hint

总结

AscendNPU IR 作为 MLIR 的开源编译组件，通过多层方言设计和丰富的优化技术，有效支持了多种前端编程语言和昇腾 NPU 的硬件优化。未来将吸引更多开发者和研究者参与，共同推动编译器技术和高性能计算的发展。

💡 学习贴士

更多细节及完整课程内容，请观看直播或查看课程回放。

链接：https://www.infinitensor.com/camp/winter2025

📚 训练营报名持续进行中

扫码报名与加入群聊，或点击 「阅读原文」 直达官网报名