Qwen 在昨天发布了 Qwen3.8-27B。互联网一如既往地在发布基准测试表格，争论 61.7 在 SWE-bench Pro 上是否能击败 Claude Opus，并继续前进。但这个模型有趣的地方并不在于这些数字，而在于其内部结构。

DeltaNet 混合架构

查看架构规范。大多数人会跳过这部分。不要跳过。

隐藏的布局是 16 × (3 × (Gated DeltaNet → FFN) → 1 × (Gated Attention → FFN))。这意味着每四个子层中有三个使用线性注意力（DeltaNet），一个使用传统的 softmax 注意力。这并不是一个标准的变压器。

DeltaNet 是一种线性注意力机制——复杂度为 O(n) 而不是 O(n²)。它通过维护一个固定大小的状态来处理序列，而不是对每个标记进行完整的注意力计算。“门控”变体增加了学习门控，控制哪些内容被写入和读取到该状态。

实际影响：模型的大部分计算量与序列长度成线性关系，而不是二次关系。 softmax 注意力层（24 个 Q 头，4 个 KV 头——注意 GQA 比例的激进性）处理真正需要全注意力的情况——长距离依赖，精确检索。但 75% 的层不需要支付这个成本。

这就是他们可以声称 262K 原生上下文和通过 YaRN 扩展到 1M 时，推理吞吐量没有完全崩溃的原因。一个纯 softmax 变压器在 27B 参数和 262K 上下文的情况下会非常痛苦。一个 75% 线性注意力的模型？那是一个完全不同的讨论。

基准测试数据（附带背景）

让我们诚实地讨论基准测试数据。

Qwen3.8-27B 在 SWE-bench Pro 上得分为 61.7。Claude Opus 4.6 Max 在同一基准测试上得分为 53.4。听起来不错——但脚注说 Qwen 是用 “Claude Code 框架在 temp=1.0, top_p=0.95 和 256K 上下文窗口下进行评估的。” 他们用 Claude 的框架来击败 Claude。这可能是自信或策略。两者都有。

更有趣的是，他们还用相同的框架和基准测试评估了 Qwen3.6-27B（53.5）和 Qwen3.7-Plus（57.6）。从 3.6 到 3.8 的跳跃是 8.2 分。这在他们自己的谱系内是一个真正的改进，并且在所有基准测试中都是一致的——SWE-bench Pro、Terminal Bench、CoWorkBench，所有基准测试都显示相对于 3.6 的 8-12 分跳跃。

视觉语言数据才是真正有趣的地方：

  • OSWorld-验证：84.3（与 Opus 4.6 的 72.7 相比）——计算机使用
  • WebArena-验证：64.8（与竞争对手的无对比）——浏览器使用
  • AndroidWorld：81.9——移动使用
  • Vision2Web：62.9——视觉网页开发

这些不是微小的领先优势。OSWorld 上 11.6 分的差距是巨大的。一个 27B 的开放模型在计算机使用方面以两位数的优势击败 Opus？这是头条新闻，而不是 SWE-bench。

思维控制的故事

Qwen3.8 默认开启思维控制。这并不是什么新鲜事——Qwen3.5 也做了同样的事情。但控制界面更加成熟：

  • reasoning_effort 有三个级别：xhigh（默认），medium，low
  • preserve_thinking 默认启用——保留历史消息中的推理痕迹跨回合
  • 每个请求的思维控制开关通过 enable_thinking 实现

preserve_thinking 功能对于代理使用至关重要。当你运行多回合任务时，你不希望模型每次回合都从头推导其推理。保留的思维意味着模型可以这样说：“我上次已经思考了这个问题三次，这是我的结论，让我在此基础上继续。” 这对于代理循环来说是一个真正的效率提升。

文档中有一个有趣的警告：“较低的推理努力并不总是减少整体任务完成时间。” 每回合更快的响应但更多的失败和重试。这是诚实的，也与我对其他思维模型的观察相符。在复杂任务上削减推理预算是得不偿失的。

真正的新颖之处与增量改进

真正新颖的：

  • DeltaNet 混合架构。这是我见过的第一个将线性注意力放在主要位置的生产模型。如果基准测试表明它表现良好，可以预期每个实验室都会开始尝试类似的比率。
  • 视觉语言堆栈。不是附加的——原生的。同一个模型中的图像和视频理解，通过可配置的帧采样支持小时级视频。
  • 多令牌预测（MTP）训练。规范中说“多步训练”。MTP 在研究中已被探索（主要是 Meta 的工作），但在生产开放模型中实现它是不寻常的。

增量改进：

  • 思维模式带有努力控制。Claude 有这个。Gemini 也有这个。这已经是标准配置了。
  • 262K 上下文与 YaRN 扩展到 1M。标准 RoPE 缩放。工作得很好，没有什么新颖之处。
  • 基准测试改进是真实的，但遵循预期的曲线——相同的架构，更好的训练，更好的数据。

架构影响

这就是 DeltaNet 混合架构超越基准测试的原因。

线性注意力改变了服务经济性。一个 27B 参数且 75% 线性注意力层的模型在内存和计算特性上与一个 27B 纯变压器模型完全不同。线性注意力层的 KV 缓存是常量大小——不随序列长度增长。只有 25% 的 softmax 注意力层有传统的 KV 缓存。

对于长上下文工作负载（262K-1M 范围内），这意味着：

  • 长序列时较低的内存压力
  • 更可预测的延迟缩放
  • 更长输入时更好的吞吐量

softmax 注意力层上的 GQA 设置（24 个 Q 头，4 个 KV——6:1 的比例）进一步减少了剩余层的 KV 缓存占用。显然，他们为此进行了实际的部署设计，而不仅仅是基准测试。

我会关注的三件事

1. 服务框架支持。 模型使用非标准层类型（DeltaNet）。vLLM、SGLang 和 TokenSpeed 声称支持，但“支持”和“优化支持”是不同的。请关注这些框架在该特定架构上的实际吞吐量基准测试。

2. 微调故事。 DeltaNet 层具有与注意力层不同的梯度动态。如果你计划微调这个模型，适用于 Llama 风格变压器的训练食谱可能无法直接转移。Qwen 尚未发布微调指导。

3. 27B 的甜蜜点。 这个模型处于一个越来越有趣的空间——足够大以真正具备能力，足够小可以在单个高端 GPU 上运行。通过线性注意力效率提升，它可能是第一个在长上下文工作负载中实际表现良好的 27B 模型。

最后总结

Qwen3.8-27B 不只是一个基准测试改进。DeltaNet 混合架构是标准变压器的一种真正的结构性变化，视觉语言能力对于这个规模的开放模型来说是真正领先的。基准测试声明需要通常的警告——评估框架选择、提示工程、比较方法——但内部轨迹（3.6 → 3.8）是一致且强大的。

如果你在评估开放模型以用于代理工作负载，这个模型值得认真关注。不是因为 SWE-bench 分数，而是因为其架构是为实际生产中的长上下文、多回合、包含视觉的工作而设计的。

27B 的规模意味着你可以运行它。DeltaNet 架构意味着在你运行时它可能会表现出色。