2026 年 2 月 3 日，2025 冬季 InfiniTensor 大模型与人工智能系统训练营前沿模型系列第五课《多模态智能及其应用》开讲。

本节课介绍当前热门的理解生成一体化技术，特别是针对 Nano Banana Pro 模型，探讨其核心技术、应用场景及未来发展趋势。

Nano Banana Pro 技术

原生多模态模型与长上下文思考

• 原生多模态模型：统一生成与理解的能力
• 长上下文窗口：能够接收多种图片、多轮对话及复杂长文描述，实现对话式出图。

数据生产与评估反馈

• 高质量数据的重要性：强调高质量数据对模型训练的重要性，特别是图文交织的训练方式。
• 人类评估体系：人类美学评估、面部实用性评估等评估体系，以及文字渲染能力的量化评估方法。
• 数据闭环与反馈：通过人类反馈形成数据制造闭环，提升模型生成准确性。

开源多模态生成模型的挑战

• 物理规律违背问题：开源多模态生成模型在生成内容时违背用户指令或物理规律的问题，如跑步机上反着跑的人、水杯破碎顺序错误等。
• 理解能力的缺失：开源生成模型在理解人类意图方面不足。

理解生成一体化技术脉络

• 图文对比学习： CLIP 模型利用对比学习实现图像与文本对齐的技术。
• GPT4 与 Gemini 2.0： GPT4 与 Gemini 2.0 等原生多模态模型在图文理解方面的强大能力。
• 多模态生成技术： Stable Diffusion、DALL·E 等模型在文生图方面的技术突破，以及 Flux 系列模型在指令遵循能力方面提升。

理解生成一体化框架设计

1. 理想的一体化框架

2. 现有理解生成技术

• 编解码结构设计
• 视觉特征方式
• 视觉表示特性

3. 现有理解生成模型框架

（1）生成外挂：AD-QC-LS

• 优点：可快速使模型同时具有不错的理解和生成能力。
• 缺点：参数量大；特征割裂，无充分融合。

（2）极致统一

• A-Q-L
  • 优点：可快速嵌入 AR 框架。
  • 缺点：难以做高维度语义理解任务；表示空间少；词表固定。
• A-C-L
  • 优点：表示空间更丰富，细节生成更好。
  • 缺点：难以做高维度语义理解任务；可能出现上下文遗忘等问题。
• A-Q-S
  • 优点：一个视觉编码器完成两种视觉表示建模，同时提升理解和生成性能；离散后便于直接嵌入 AR 架构。
  • 缺点：表示空间少，细节和语义难以完全保持；词表固定，视觉编码器固定。
• D-Q-L
  • 优点：鉴于 LLaDA 的 Diffusion 解码框架，符合图像直观的解码方式，同时解码效率相对高。
  • 缺点：1. 基础模型仍在探索中，基础能力不足; 2. 仍局限于 VQ，受其本身能力局限。

（3）融合建模

• A-Q-LS

• A-QC-SL

• AD-C-L

• AD-Q-SL

• AD-QC-SL

• AD-C-SL

DeepMind 工作启发

从 DeepMind 相关的研究基础来看，有两点技术坚持：

• 1.坚持利用连续特征 + Diffusion Loss 用于图像生成。
• 2.是利用 AR 还是 AR+Diffusion 仍在探索，但基本上是在 LLM 内部完成一体化建模。

💡 学习贴士

更多细节及完整课程内容，请观看直播或查看课程回放。

链接：https://www.infinitensor.com/camp/winter2025

📚 训练营报名持续进行中

扫码报名与加入群聊，或点击 「阅读原文」 直达官网报名