你今天所接触的每一款前沿 LLM —— GPT-5、Claude、Gemini、DeepSeek-V3、Llama 4 —— 都是一个仅解码器的 Transformer。这是真的。但称该领域为“停滞”就如同说航空业停滞在机翼上。核心原理依然有效。围绕它的所有东西都被重建了，有时甚至重建了多次。

下面是 2026 年的 Transformer 实际上是什么样子，以及裂缝在哪里出现。

2017 年的 Transformer 基本上已经死亡

“注意力就是你所需要的全部”架构 —— 三角函数位置编码、后层归一化、ReLU 激活函数、编码器-解码器结构、密集前馈网络 —— 已经消失。不是被修改，而是彻底消失。

取而代之的是：

  • 仅解码器（编码器的一半几年前就已经被语言模型抛弃）
  • RoPE 位置编码，带有频率缩放技巧，将上下文从 4K 扩展到 1M+ 个标记
  • 预 RMS 归一化（Pre-RMSNorm）代替层归一化（LayerNorm），使得在 100+ 层的稳定训练成为可能
  • SwiGLU 门控激活函数代替 ReLU/GELU
  • FP8 原生训练（DeepSeek-V3 首次在前沿规模上实现）
  • 分组查询注意力或多头潜在注意力代替标准多头注意力

骨架是相同的 —— 注意力块堆叠在前馈块之上。但每一个器官都被替换。

混合专家打破了计算瓶颈

这是 2024-2026 年最大的架构转变，完全发生在 Transformer 家族内部。

不再是一个巨大的前馈网络处理每个标记，而是 MoE 模型有几十个或几百个小“专家”网络。一个轻量级路由器为每个标记选择 2-3 个专家。其余的则闲置。

数字说明了一切：

  • DeepSeek-V3：总参数量 6710 亿。每标记激活参数量 37 亿。激活率 5.5%。
  • Llama 4 Maverick：总参数量约 4000 亿，每标记激活参数量 17 亿。
  • GLM-5：总参数量 7440 亿，每标记激活参数量约 40 亿。

你可以在推理成本为 40 亿参数模型的情况下获得万亿参数模型的知识容量。这就是为什么前沿规模的模型可以经济地运行。这也是为什么“仅仅让它更大”的策略遇到了瓶颈，而 MoE 吞下了它。

路由创新同样重要。DeepSeek 首次实现了无辅助损失的负载均衡 —— 他们维护一个专家负载的指数移动平均值，直接调整路由器评分，而不是添加一个防止专家崩溃的损失项。这是前沿的默认方法。

KV 缓存之战

自回归推理被缓存每个过去标记的键值对所瓶颈。在百万标记上下文的情况下，这个缓存本身就能超过 GPU 显存。行业从多个角度攻击这个问题：

  • 分组查询注意力 (GQA) 共享多个查询头的键值头。标准应用于 Llama 和 Mistral。将键值缓存内存减少 4-8 倍，同时几乎不损失质量。
  • 多头潜在注意力 (MLA) 是 DeepSeek 的更大突破。而不是存储完整的键值对，MLA 在缓存前将它们压缩成低维潜在向量。这将键值缓存减少了 80-90%，同时保持表达能力。这可能是十年来最具影响力的注意力重设计。
  • FlashAttention 不改变数学，而是改变内存访问模式。通过在快速 SRAM 而不是慢速 HBM 中计算注意力，FlashAttention-3 在 H100 上达到了 75% 以上的利用率。没有这个内核，128K-1M 上下文的训练将变得计算上不可行。
  • 滑动窗口和稀疏注意力意味着大多数层只查看附近标记。少数层进行全局注意力。其余层使用廉价的局部模式。

结果：模型仍然是“Transformer”名称下的计算注意力，但与 2017 年论文中的意图完全不同。

测试时计算：没有触及架构的能力飞跃

这是架构讨论最容易忽略的最重要一点。

自 GPT-3 以来最大的能力飞跃 —— 类如 o1/o3、DeepSeek-R1、扩展思考的 Claude —— 涉及零架构变化。这些模型在架构上与它们的前辈完全相同。

变化的是训练目标。大规模的强化学习与可验证奖励教会模型生成长链思维、回溯、规划和自我纠正再作答。在推理时，模型每查询花费几分钟的计算时间，而不是毫秒。

一个小模型在测试时计算可以系统地在数学、科学和编程任务上超越一个运行单次贪婪解码的大模型。这就是 2025-2026 年实际起作用的扩展法则，它发生在 Transformer 周围，而不是内部。

真正的挑战者：混合体，而非替代品

没有纯粹的替代品在前沿规模上取代了 Transformer。但混合体 —— 交替使用 Transformer 注意力层与其他机制的模型 —— 正在生产中推出，并在经济性上胜出。

  • 状态空间模型 (SSM)，如 Mamba，用一个不断演化的潜在状态替代了成对注意力。线性时间推理，没有注意力矩阵，显著减小了键值缓存。缺点：纯 SSM 在精确召回方面表现明显更差 —— 这种注意力处理起来非常简单的“在大海中找针”的查找任务。
  • 混合解决方案：廉价的递归/SSM 层用于批量序列处理，罕见的全注意力层用于精确检索。现在正在发货的具体模型：
    • Nemotron-H（NVIDIA）：用 Mamba-2 块替换了 92% 的注意力层。在 16/17 个基准测试中与 Llama-3.1-70B 性能相当。吞吐量提高 3 倍。470 亿参数变体在单个 RTX 5090 上实现了 100 万标记的推理。
    • Jamba 1.5（AI21）：1:7 注意力到 Mamba 比例与 MoE 结合。总参数量 3980 亿，每标记激活参数量 94 亿。上下文长度 256K。第一个大规模生产混合体。
    • Falcon-H1（TII）：将注意力头和 Mamba-2 头并行放置在同一层内。0.5 亿到 34 亿大小。在长上下文输入上最多 4 倍吞吐量提升，在输出上最多 8 倍提升，与纯 Transformer 相比。
    • Qwen3-Next（阿里云）：使用门控 DeltaNet（线性注意力）作为主力，每几层进行全注意力。总参数量 800 亿，每标记激活参数量 3 亿。

采用数据：混合体模型在 2025-2026 年的新开放权重模型发布中占大约 8%。虽然较小，但增长迅速。每个主要实验室的长上下文路线图都包括混合体。

扩散 LLM：真正不同，仍处于早期阶段

这是与自回归生成最根本的差异。而不是从左到右预测一个标记，扩散模型并行去噪整个序列。

  • Mercury Coder（Inception Labs）在 H100 上达到了每秒 1109 个标记 —— 大约比优化后的自回归模型快 10 倍。它在生产中拥有公共 API。Mercury 在 Copilot 竞技场质量基准测试中排名第二，同时是最快的模型。

  • LLaDA（8B，开放权重）证明了一个从零开始训练的扩散模型可以与 LLaMA3 8B 在上下文学习和指令遵循上匹配。iLLaDA 通过 12T 标记预训练、GQA 和可变长度生成进一步改进。

这里的关键点是：Mercury 的去噪器仍然是一个 Transformer。扩散改变了生成算法，而不是骨干。即使是革命者也无法放弃注意力。

为什么替代品没有出现

三个护城河让 Transformer 保持在前沿：

  • 硬件协同进化。九年的 GPU 内核优化，FlashAttention，TensorRT-LLM，vLLM，以及量化工具 —— 都是为了适应注意力 + 矩阵乘法。一个技术上更先进的架构如果在现有硅片上运行速度慢 3 倍，就会失去优势。
  • 可预测的扩展。实验室有五年的 Transformer 扩展法则数据。他们可以预测 500 万美元的训练计算能买到什么。没有人敢在行为未知的 1T 参数架构上押注九位数。
  • 精确召回。哈佛和 CMU 的工作证明了 Transformer 可以复制指数长度的字符串，而 SSM 由于其固定大小的潜在状态而根本无法实现。精确检索正是代理、编程和 RAG 所需要的。

无人讨论的差距

每项关于 LLM 架构的分析都集中在模型上。几乎没有人讨论 2024-2026 年能力提升的很大一部分来自数据方面 —— 合成数据生成、推理痕迹提炼和精心策划的训练语料库。Llama 3.1 405 亿参数的输出被用于改进其较小的兄弟模型。Phi 模型在教科书风格的合成数据上训练。DeepSeek 的训练数据管道与其架构一样创新。

架构获得了头条新闻。数据管道在幕后工作。

对于基于 LLM 的构建者意味着什么

对于大多数团队来说，架构是一个你无法控制的实现细节。你的前沿 API 提供商会提供在他们评估中得分最高的模型。你不会选择 MoE 还是密集型；你会选择 GPT-5 还是 Claude。

但如果你自己托管或构建本地推理堆栈，情况就不同了：

  • 对于长上下文（256K+），评估 Jamba 或 Nemotron-H 与纯 Transformer 一起使用。KV 缓存节省是真实的。
  • 对于敏感的代码生成，测试扩散模型如 Mercury 是值得的。
  • 对于边缘/CPU 部署，RWKV-7 或小型混合体在吞吐量上优于纯 Transformer。
  • 对于大多数上下文小于 32K 的聊天和代理工作负载，架构选择并不重要。选择在你的评估中得分最高的模型。

如果你正在构建一个模型可替换的系统 —— 内存、工具、治理和评估层独立于骨干 —— 你已经为未来做好了准备。Transformer 可能或可能不是最终架构。但围绕它的系统架构比其内部的模型架构更重要。

最后一句话

Transformer 并不是一个牢笼。它已经成为一个底盘。每一个有前途的 AI 点子 —— 稀疏性、线性注意力、内存增强、推理、扩散 —— 都被附加到它上面。2026 年的 Transformer 与 2017 年相比除了核心合同 —— 在残差流上的注意力，训练预测标记 —— 外几乎没有相似之处。

现实的轨迹不是替代。而是像忒修斯之船 —— 混合化、注意力成为小部分层、扩散解码、字节级输入 —— 直到 2030 年我们称之为“Transformer”的东西对 2017 年的研究人员来说几乎不可辨认，但仍包含 2017 年的 DNA。

该领域并非停滞不前。它在不断积累。