2026 年 1 月 13 日，2025 冬季 InfiniTensor 大模型与人工智能系统训练营前沿模型系列第一课《大模型学习方法》正式开讲。

本节课将系统梳理大模型训练的完整生命周期，深入解析预训练、监督微调(SFT)、强化学习(RLHF)三个核心阶段，并介绍如何通过 Scaling Law 等技术预测和优化模型性能。

AI发展的三个阶段

从 1956 年达特茅斯会议至今，人工智能经历了三个重要发展阶段：

1. 符号智能时代（1950s-1980s）

• 核心特征：专家手工构建规则库和知识库
• 典型应用：专家系统
• 主要局限：
  • 规则难以穷尽枚举
  • 人工构建成本极高
  • 无法处理规则库未覆盖的任务

2. 专用智能时代（1990s-2010s）

• 核心特征：数据驱动的机器学习，针对特定任务训练专用模型
• 技术突破：多层神经网络、反向传播算法
• 主要局限：
  • 每个任务需要独立标注数据集
  • 标注成本高昂
  • 模型泛化能力有限

3. 大模型时代（2018 年至今）

• 核心特征：统一模型解决多样化任务
• 技术标志：BERT、GPT 等预训练语言模型
• 关键优势：
  • 利用海量无标注数据进行自监督学习
  • 单一模型支持多任务
  • 能力呈现涌现特性

大模型的核心特性：量变到质变的涌现

1. 涌现智能(Emergent Intelligence)

• 现象描述：小模型无法完成的任务，大模型突然能够完成
• 表现形式：在复杂任务上出现阶跃式性能提升
• 根本原因：参数规模、数据规模、计算量的指数级增长

2. Scaling Law：性能可预测性

OpenAI 提出的 Scaling Law 揭示了模型性能与资源投入的定量关系：

损失函数与参数量的关系：

$$L(N) = aN^{-alpha} + b$$

核心发现：

• 损失函数与参数量、数据量均呈幂律关系
• 计算量 C ≈ 6 × 参数量 × 数据量
• 在相同计算预算下，存在最优的参数量与数据量配比

3. 实际应用价值

• 性能预测：用 1/1000-1/10000 的计算量预测大模型性能
• 资源配置：找到给定计算预算下的最优超参数配置
• 效率提升：DeepMind 的 Chinchilla 模型用 70B 参数超越 530B 参数的基线模型

预训练阶段：自监督学习的基础

1. 核心任务

• Next Token Prediction：根据前文预测下一个词
• Masked Language Modeling：预测被掩码的词语（如 BERT）

2. 关键优势

• 无需人工标注：只要有原始语料即可生成训练样本
• 数据近乎无限：可利用互联网上的所有文本数据
• 知识覆盖面广：学习到丰富的世界知识

3. 性能优化策略

• 高质量数据筛选：FiD 工作表明，1.3B 模型用 1% 的教科书质量数据即可在特定情况下超越 GPT-3.5
• 数据多样性：HuggingFace 研究显示，高质量数据可显著加快收敛速度
• MiniCPM实践：2B 模型仅用 Gemma 7B 1/6的 token 量，性能接近 Gemma 7B

监督微调(SFT)：指令遵循能力的培养

1. 发展历程

• Instruction Tuning：Google 发现模型对指令具有泛化能力
• 对话形式微调：InstructGPT/ChatGPT 采用对话数据格式
• Self-Instruct：Alpaca 使用 ChatGPT 自动生成训练数据

2. 两种流派

数量派

• 自动生成百万级 SFT 数据
• 期望通过量变产生质变
• 代表：Alpaca

质量派

• 精心构造少量高质量数据
• 注重数据多样性和复杂性
• 代表：InstructGPT(仅 1 万条数据)、LIMA(仅 1000 条 prompt)

3. AutoChat：数量与质量的结合

AutoChat 通过三个维度构建高质量多样化数据：

• Questions about World
  基于 Wikipedia 实体和多样化主题生成问题

• Creation and Writing
  覆盖新闻、代码、论文、报告等多种材料类型

• Assistant Materials
  从 C4 语料库提取片段，反向生成对应指令

效果验证：OASST-LM 成为社区首个在 Alpaca-Eval 达到 80 分的开源模型。

强化学习(RLHF)：人类偏好的对齐

1. 为什么需要RLHF？

• SFT的局限：强制模型拟合单一"正确答案"，但很多任务有多个合理答案
• 目标不一致：SFT 的优化目标与最终用户体验目标不符
• 反馈学习：更符合人类从反馈中学习的认知模式

2. RLHF三阶段流程

• 监督微调(SFT)：收集演示数据，训练初始策略
• 奖励模型训练：收集对比数据，训练奖励模型
• 强化学习优化：基于奖励模型优化策略

3. OpenAI 的 RLHF 实践

• 数据规模：33,000 个 prompt，每条生成 4-9 个回复
• 奖励模型：使用 200K 对比数据训练
• 人工标注：详细标注文档，多维度评价生成质量

4. 开源社区的挑战与突破

主要困难：

• 偏好数据标注成本高
• 开源偏好数据集规模小、多样性差
• 奖励模型效果不显著

AutoFeedback解决方案：

• 数据规模：65K prompt，300K+ 偏好对
• 模型多样性：使用 GPT、LLaMA、MPT、Falcon 等多个模型生成答案
• 评价维度：GPT-4 从四个维度进行比较打分并给出解释

效果：AutoFeedback 训练的模型在 UP 和 EO 评测中达到 81.17 分，显著优于其他开源方案。

未来展望：从 0-60 分到 60-100 分

1. SFT 的双重目标

• 0-60 分：让模型输出形式符合用户偏好，激发预训练知识
• 60-100 分：提升推理、生成和知识运用能力，解决复杂任务

2. RLHF 的扩展应用

• 多智能体交互：接受多方反馈
• 工具使用：长距离、多步骤的反馈机制
• 具身智能：从环境交互中学习

3. 核心成功要素

• 数据多样性：覆盖各种任务类型和难度级别
• 可扩展性：能够持续扩展数据规模和质量
• 反馈机制：建立有效的偏好学习和对齐机制

总结

大模型训练是一个复杂的系统工程，涉及预训练、SFT、RLHF 等多个阶段。每个阶段都有其独特的挑战和优化策略：

• 预训练阶段：关注数据质量和 Scaling Law 指导下的资源配置
• SFT 阶段：平衡数据数量与质量，注重指令多样性
• RLHF 阶段：构建高质量偏好数据，训练有效的奖励模型

本节课带领大家深入理解这些训练方法论，不仅有助于模型开发，更能为AI应用落地提供坚实的技术基础。后续课程将深入讲解大模型训练、推理与优化技术，包括模型微调、分布式训练、性能优化等高级主题。

💡 学习贴士

更多细节及完整课程内容，请观看直播或查看课程回放。

链接：https://www.infinitensor.com/camp/winter2025

📚 训练营报名持续进行中

扫码报名与加入群聊，或点击 「阅读原文」 直达官网报名