预训练语言模型是一个百科全书式的下一个词预测器，但缺乏社交技能。它不知道如何回答问题、拒绝有害请求、格式化 JSON 或解决数学问题。它只是自动完成文本。
后训练是这一切改变的地方。它是在预训练之后的阶段，通过塑造原始能力使其与人类价值观和需求对齐，使其变得有用，并且能够进行推理。你选择的方法决定了你最终会得到一个聊天机器人、一个程序员，还是一个自主代理。
现代流水线堆叠了四种技术家族，每种技术解决一个不同的瓶颈。
SFT：展示，而不是告诉
监督微调是基础。你给模型提供数千个（提示，理想响应）对，并训练它模仿这些对。标准交叉熵损失。没有什么特别复杂的东西。
SFT教会了什么：格式、语气、指令遵循、领域特定写作。如果你想要一个输出干净 JSON、以正确结构编写 CAPA 调查报告或拒绝帮助构建炸弹的模型——SFT 就是实现这些功能的地方。
LIMA 研究论文揭示了一个令人惊讶的事实：少量高质量示例可以超越大量低质量示例。数据质量胜过一切。
陷阱：SFT 是行为克隆。模型学会了复制它所看到的内容，但它不能学会为什么一个响应比另一个更优。它没有“A 比 B 更好”的机制——它只能看到每个提示的唯一正确答案。
想象一下，通过展示 QA 专家完成的数百份调查来训练新 QA 专家。他们将学会格式。他们将复制措辞。但如果每个示例都说“根本原因：操作员错误”——即使设备明显出了故障——模型也会欣然复制这个错误。SFT 从不质疑标签。
它还有一个令人讨厌的特性：SFT 在领域内提高了准确性，但在领域外的泛化能力却降低了。你对狭窄示例进行微调得越多，模型处理不熟悉输入的能力就越差。这是 2026 年强化学习后训练调研中最重要的发现之一，也是为什么每个严肃的流水线都超越 SFT 的原因。
偏好优化：教出品味
SFT 教会了“说什么”。偏好优化教会了“什么更好”。
经典的做法是 RLHF——基于人类反馈的强化学习。收集人类对模型输出的排名，训练奖励模型，然后使用 PPO 对策略进行优化。这有效但很复杂：你需要在内存中同时存储四个模型（策略、参考、奖励模型、批评家），而 PPO 通常在训练早期表现不稳定。
DPO 和 ORPO 跳过了这一切。
DPO：无需奖励模型
直接偏好优化有一个美妙的洞察：最优 RLHF 策略与奖励函数之间存在闭式数学关系。你可以利用这一点完全跳过奖励模型，直接在偏好对（选择，拒绝）上进行优化。
损失函数看起来像这样：
$$\mathcal{L}{\text{DPO}} = -\log \sigma\left(\beta \log \frac{\pi\theta(y_w|x)}{\pi_{\text{ref}}(y_w|x)} - \beta \log \frac{\pi_\theta(y_l|x)}{\pi_{\text{ref}}(y_l|x)}\right)$$
翻译：增加选择响应相对于参考模型的概率，减少拒绝响应的概率。参考模型（通常是你的 SFT 检查点）作为锚点，防止策略偏离到不一致的状态。
DPO 稳定、易于理解，并在 2024-2025 年成为偏好对齐的默认标准。但它有一个已知的失败模式称为“似然性位移”——选择和拒绝之间的概率比朝正确方向移动，但两者在绝对意义上都不更有可能。模型学会了正确排序，但并没有生成更好的文本。
ORPO：一个阶段，没有参考
ORPO 更进一步。它将 SFT 和偏好对齐合并为一个训练阶段，并完全消除了参考模型。诀窍在于在标准 SFT 损失中添加一个奇数比惩罚项。
$$\mathcal{L}{\text{ORPO}} = \mathcal{L}{\text{SFT}} + \lambda \cdot \mathcal{L}_{\text{OR}}$$
SFT 项保持模型流畅。奇数比项将选择响应推高，将拒绝响应推低。没有参考模型意味着 DPO 的一半内存，一个训练阶段而不是两个。
权衡：ORPO 更新，且在大规模部署中尚未经过充分测试。但对于资源受限的设置——如在单个 GPU 上微调一个 7B 模型——它是一个更高效的选项。
何时使用哪种：如果你已经有了一个强大的 SFT 模型，并且希望保持接近验证行为（例如，监管 QA 风格），DPO 的参考锚点很有价值。如果你从零开始，并且希望一次训练运行，那么 ORPO 更合适。
蒸馏：从聪明的学生那里偷学
蒸馏不是一个训练目标——它是一个数据源。你使用一个大而昂贵的教师模型生成一个小而便宜的学生的训练数据。
最常见的形式是：提示教师（GPT-4、Claude、DeepSeek-R1）生成数千个响应或推理痕迹。然后对学生的输出进行 SFT。这就是 DeepSeek-R1-Distill-Qwen-7B 的制作方式。这也是大多数“开源”模型建立能力的方式。
还有 策略性蒸馏，其中学生生成自己的响应，教师纠正它们。这关闭了暴露偏差——在标准蒸馏中，学生从不看到自己的错误，因此无法学习如何从错误中恢复。通过将教师条件化于学生生成的文本进行“学生蒸馏”比通过教师进行“教师蒸馏”表现更好，最多可提高 6%。
天花板是真实的：学生永远无法可靠地超越教师。但一个从 400B+ 模型蒸馏出的 7B 模型可以以极低的推理成本捕获教师的大部分能力。对于部署模型到边缘设备或本地推理，蒸馏是路径。
现代变体：蒸馏强化学习——首先通过 SFT 蒸馏推理痕迹，然后在学生上运行 RL。这优于单独使用每种技术。
强化学习：通过试错学习
这是事情变得强大的地方。SFT 和偏好优化使用静态数据。强化学习让模型探索——生成响应，获得评分，更新其策略以最大化奖励。模型可以发现没有人展示过的策略。
LLM 的强化学习框架：模型是代理，提示是环境，生成的标记是动作，奖励函数评估结果。
PPO：昂贵的基础
PPO 是最初的 RLHF 工作马达。它使用一个学习的批评家模型来估计每个标记的预期未来奖励，然后使用截断的重要性采样更新策略。效果很好，但需要同时在内存中存储四个模型，并且批评家在训练早期经常校准不佳。昂贵、不稳定，有许多超参数。
GRPO：去掉批评家
2024 年 DeepSeek 引入的组相对策略优化是自 RLHF 以来最重要的后训练创新。它完全消除了批评家。
机制是优雅的：对于每个提示，采样一组响应（8-64）。用奖励函数评估每个响应。然后计算相对于组的优势：
$$\hat{A}_i = \frac{r_i - \text{mean}(r)}{\text{std}(r)}$$
组本身提供了基线。不需要学习价值函数。这节省了巨大的计算资源，并消除了主要的不稳定性。
突破时刻：DeepSeek-R1 显示，使用简单的二元奖励（数学答案正确或错误）的 GRPO 使模型 自发地发展 了链式思考、自我纠正和回溯。没有人教它“逐步思考”。模型发现思考有助于获得奖励，因此开始思考。这正是让行业相信 RL 是通用推理之路的“啊哈时刻”。
GSPO：修复 GRPO 的不稳定性
GRPO 有一个问题：它在每个标记上计算重要性采样比。在深度模型或混合专家架构中，标记级别的比率是嘈杂的。专家路由在每次梯度更新后漂移——对于相同的展开，旧策略和新策略之间激活的专家大约有 10% 的不同。长时间推理链积累后，这会导致严重的不稳定性并最终导致模型崩溃。
GSPO，由 Qwen 团队在 2025 年提出，通过转向 序列级别 重要性比解决了这个问题：
$$\rho_{\text{seq}} = \exp\left(\frac{1}{|y|}\sum_t \log \frac{\pi_\theta(y_t|x,y_{<t})}{\pi_{\theta_{\text{old}}}(y_t|x,y_{<t})}\right)$$
这是标记级别比率的几何平均值——一个单一数字，捕捉整个序列的偏移量。剪裁、KL 和优化都在序列级别进行。结果：训练更加稳定，尤其是对于 MoE 模型。无需复杂的“路由重放”工程技巧。Qwen3 就是用 GSPO 训练的。
DAPO 和更广泛的家庭
DAPO（字节跳动/清华大学，2025）为长时间推理增加了四个特定修复：不对称剪裁以防止熵崩溃、动态采样以确保每个提示都有正确和错误的响应、以及过长的奖励塑造。它训练 Qwen2.5-32B 超过了 DeepSeek-R1-Zero，仅用了 50% 的步骤。
更广泛的趋势：每一代方法 消除一个代理。PPO 需要批评家和奖励模型。DPO 消除了奖励模型。GRPO 消除了批评家。ORPO 消除了参考模型。GSPO 简化了重要性采样。每一步都减少了基础设施复杂性，同时保持或提高了能力。
实际应用中的堆叠
现代后训练是一个多阶段流水线：
基础模型
→ SFT（格式、风格、指令遵循）
→ 偏好优化（DPO/ORPO 用于对齐）
→ 强化学习（GRPO/GSPO 用于推理和工具使用）
→ [可选] 蒸馏到更小的部署模型并非每个流水线都使用所有阶段。选择取决于你需要什么：
| 目标 | 方法 | 为什么 |
|---|---|---|
| 教授指令遵循 | SFT | 简单、稳定，建立格式 |
| 与人类偏好对齐 | DPO | 无需奖励模型，可离线工作 |
| 低成本单阶段对齐 | ORPO | 结合 SFT + 偏好 |
| 转移到较小模型 | 蒸馏 | 以 10% 成本获得接近教师的性能 |
| 推理、数学、代码 | GRPO/GSPO | 发现超出训练数据的策略 |
| 最大稳定性与 MoE | GSPO | 序列级别优化 |
这对构建代理意味着什么
如果你正在构建 AI 代理——特别是在受监管的领域，如生命科学——方法选择直接影响验证：
SFT 和蒸馏 是相对确定的，且相对容易记录和重现。适用于 CSV/GxP 的目的。
DPO/ORPO 添加了一个偏好数据集和需要版本和解释的参考模型。中等验证负担。
完整强化学习（GRPO/GSPO） 是最难验证的，因为它依赖于随机展开和奖励模型的行为。对于推理密集型任务值得，但审计追踪更复杂。
实际建议：从你的验证文档中开始使用 RAG。SFT 用于结构和术语。DPO 用于审阅者的偏好。蒸馏到高效的本地模型。仅在问题具有明确且可自动测量奖励时引入 RL。
最后结论
后训练已成为模型能力的主要战场。来自 Meta 和其他机构的研究表明，单独的后训练可以提高基准性能 20-40%——这些改进通过扩展预训练计算量是无法实现的。
前沿清晰：带有可验证奖励的强化学习正在解锁 SFT 和偏好方法根本无法实现的推理能力。但 SFT 和偏好对齐不会消失——它们是使强化学习成为可能的基础。2025-2026 年主导基准的模型不仅仅是更大。它们是通过更聪明的后训练食谱训练的。
消除轨迹继续。每一代方法都消除了一个代理，简化了基础设施，并进一步推动了能力。问题不在于你的模型是否需要后训练。而在于哪些阶段、什么顺序，以及你愿意在每个阶段投入多少计算资源。