2026 夏季 InfiniTensor 训练营大咖课 3：国防科技大学余杰老师 ——《人工智能时代操作系统的机遇与挑战》

在大模型时代，操作系统（OS）将如何演进？AI 与 OS 如何相互赋能？

8 月 11 日晚，2026 夏季 InfiniTensor 大模型与人工智能系统训练营迎来第三期大咖课。本次课程特邀国防科技大学博士生导师余杰老师从 OS 发展历程、OS for AI、OS with AI 及麒麟团队实践四个维度，解析智能时代操作系统的定位与未来。

讲师介绍

余杰 | 国防科技大学计算机学院研究员、博士生导师

国家重点研发项目首席科学家，基础软件教育部工程研究中心常务副主任、openKylin 开源社区副主席
长期从事操作系统与人工智能研究，研制麒麟系列操作系统，荣获国家科技进步一等奖 1 项、省部级科技进步特等奖 2 项、一等奖 3 项
入选军队学科拔尖人才、湖南科技领军人才等，获中国杰出开源人物、中国开源先锋人物等称号，获评“中国杰出开源人物”、“中国开源先锋人物”
带领团队在TKDE、SCIS、AAAI、ICPP、ACL、NIPS等国际顶刊/顶会发表学术论文50余篇，申请国家发明专利 30 余项，培养博士、硕士 30 余人

操作系统 OS 的发展历程与智能时代定位

1. 操作系统的核心使命与驱动力

（1）两大核心任务：

向下：高效管理软硬件资源（提供硬件虚拟化机制）。
向上：为软件和用户提供运行环境与开发环境（GUI + API）。
（2）两大发展原动力：
计算机硬件的不断发展（促进底层技术革新）。
计算机应用的不断发展（产生新的机理与技术需求）。

2. 操作系统发展的四个阶段

3. 大厂商演进

微软：抓住互联网与云时代（云收入占比超 30%），但在移动时代（Win8）失利；现通过 Copilot+PC 及开源的 ONNX Runtime 等技术布局 AI 推理生态。
苹果：软硬一体开创图形化与移动时代；经历互联网低谷后靠 iPhone 复兴；AI 时代主打 Apple Intelligence 与端侧隐私安全。
历史规律：一项技术在成为 OS 标配前，往往是独立存在的（如 GUI、TCP/IP、Browser）。判断：人工智能技术最终将成为操作系统的一部分。

4. AI 时代 OS 的两大推动力

强大的推理引擎：管理复杂本地资源，提供数据源与服务。
更自然的交互方式：人机协同、智能化 UI、个性化需求。

OS for AI —— 操作系统助力人工智能发展

1. OS 支撑 AI 的三大维度

高质量数据：存储、管理、流通及高效处理。
高效用算力：硬件层、内核层、基础库层的调度与优化。
高效能算法：提升数据利用率，缓解算力瓶颈。

2. 两大定律与终端智能风口

摩尔定律：集成电路的晶体管集成度长期呈指数增长，通常以约18～24个月翻倍。
知识密度定律：清华刘知远团队观察到，大模型知识密度呈持续提升趋势
趋势：混合 AI 与端侧大模型加速普及，AI 将无处不在。

3. 训练阶段的系统级优化

模型架构设计：DeepSeek MoE 架构，通过稀疏计算以经济成本训练强模型（专家分配减少算力滥用）。

并行策略优化：DeepSeek DualPipe 双向流水线并行，通过重新组织前向/反向计算与通信，实现计算—通信重叠，并减少流水线气。

通信优化：通信分区与分层调度（操作级、层级、模型级），重叠通信延迟。

内存优化：利用 GPU/CPU/内存异构协同，无线卸载引擎、内存中心分块、带宽中心分区。

4. 推理阶段的系统级优化

持续批处理：Chunked Prefills + Decode-Maximal Batching，通过将长 Prefill 切分为多个 chunk，并与 Decode 请求混合批处理，提高 GPU 利用率并减少流水线气泡。
PD 分离框架（Mooncake）：Prefill 与 Decode 分离，最大化吞吐率，智能 KV Cache 调度。
KV Cache 管理（PagedAttention）：受虚拟内存启发，采用分页注意力机制，解决显存碎片化与冗余。
KV Cache 管理（Cached Attention）：针对多轮对话复用历史 KV Cache，通过 DRAM/SSD 等分层存储及异步预取，减少历史上下文的重复计算。
算子优化（FlashAttention）：：通过分块（tiling）、在线 Softmax 等 IO-aware 机制，减少 HBM 与片上 SRAM 之间的数据搬运及 HBM 访问，并结合重计算降低中间结果的显存占用。

5. 产业界实践趋势

开源OS：Red Hat Enterprise Linux（AI 运维/边缘等）、Ubuntu/Debian 等 Linux 发行版。

芯片厂商：高通（终端生成式 AI 全栈使能）、Intel（AI PC 增量市场）、联发科/联想（端侧 AI 普惠化）。

演进方向：端侧部署三阶段技术成熟 -> OS 与 AI 向系统级 AI Agent 演进。

OS with AI —— AI 技术赋能操作系统智能化

1. 学术界探索：经典 AI 改进系统能力

内核决策：LAKE 技术，在内核空间收集ML特征，协调资源竞争。
进程调度：基于强化学习（状态-动作-奖励）替代传统优先级/时间片轮询。
内核模糊测试：HEALER 方法，利用关系学习引导测试，提升漏洞发现效率与分支覆盖率。
内核数据路径：基于学习优化重构数据路径，适应动态应用需求与硬件平台。

2. AIOS：大模型智能体操作系统

范式转变：从“传统 OS+AI 补丁”转向“AI 原生”。
核心理念：在传统 OS 之上引入面向 LLM Agent 的 AIOS Kernel，将智能体调度、上下文、内存、存储、工具访问等能力纳入系统级资源管理。
关键机制：独立的智能体调度器、上下文管理、内存/存储管理、工具访问控制。
代表工作：AIOS、KAOS（桌面知识库与工具增强）。

3. 产业界布局

微软：Copilot+PC 全栈融合，开源 Onnx 卡位推理引擎，SKS/Autogen 智能体框架。
谷歌：Android 集成 AI，Gmail 等产品深度融合，面向开发者提供 Agent 框架与云服务。
苹果：从收购转向自研 Apple Intelligence，打通 ChatGPT 与本地生态。

麒麟团队的创新与实践

1. 关键技术突破

智能计算优化：面向 CPU 的巨型页内存池管理（二维矩阵装箱算法）。
算子自动选择：基于内存感知的卷积算子选择策略。
张量管理优化：面向动态计算图，协同张量交换与重计算，运行时在线决策。
内存分配优化：深度学习框架缓存分配器，超额订阅虚拟内存拼接，三级缓存启发式分配。
张量卸载：资源受限下算子感知的大模型推理卸载，智能算子调度算法。

2. OpenTiny AIPC 版成果

四大特征：离线高效推理、系统深度融合、端侧应用赋能、端云统一调度。
三层架构：
- 模型层：轻量化推理加速、量化、微调。
- 系统层：端侧推理优化、服务引擎、部署框架、指令对齐。
- 应用层：AI 助手、WPS 离线 AI 能力对接（内网场景专用）。
全开源演示：OpenKylin OS + 九格大模型 + SenseVoice 语音识别，商用笔记本实机演示。

Q&A 精选答疑

Q1：OS for AI 和 OS with AI 在实际落地中的最大区别？
A：目标不同。OS for AI 是从系统视角助力AI，让 AI 性能更强、效率更高；OS with AI 是将 AI 技术引入 OS，让操作系统本身更智能、更强。

Q2：大模型对操作系统内核会带来哪些实质性改动？
A：在 AI 原生 OS（AIOS）愿景中，大模型将成为真正的内核（Kernel），而传统的 Linux Kernel 将变为底层硬件使能组件。

Q3：OpenKylin 推进 OS+AI 开源生态，瓶颈在生态还是技术？
A：当前瓶颈主要在技术。如何将大模型从“外挂引擎”真正变为“Inside”，需要架构级突破，而非单纯的 Scale 扩展。相比之下，得益于 AI 厂商已建好的硬件适配生态，当前的生态构建难度反而低于传统信创时代。

Q4：如何看待 macOS 集成通义千问？对国产 OS 有冲击吗？
A：这是好事，说明国内开源成果获国际认可。国产 OS 已从弱到强，距离国际先进水平很近。开放竞争是成长的必经之路，国内外技术拉齐有助于整个生态的成熟。

Q5：AI 能力下沉到 OS 层会带来额外性能开销吗？
A：若在传统 Linux 内核上强行叠加 AI，确实会降低效率。但若采用 AI 原生架构（大模型为脑，传统内核为组件），则是另一套逻辑。此外，OS 发展是“包容式”而非“替代式”，传统 OS 仍将长期存在于特定场景中。

Q6：端侧 AI OS 未来会像手机一样普及吗？
A：是历史的必然。遵循摩尔定律与知识密度定律，端侧算力将持续爆发。未来 AI 将像今天的网络连接一样成为基础设施，实现真正的 AI 普惠。

加入训练营

📺完整课程内容，请观看直播或查看课程回放：

InfiniTensor 官网： https://www.infinitensor.com

B站直播： InfiniTensor 官方直播间

视频号直播： InfiniTensor 视频号预约

答疑交流：训练营官方社群⬇️