2026 年 7 月 14 日，Google 发布 Qwen 3.5-397B-A17B 在 Ironwood（TPU v7x）上的推理优化报告：在其 512 并发测试档位下，4 月至 6 月间，偏解码工作负载性能提高约 3.1 倍，偏预填充工作负载提高约 4.7 倍。这个结果说明大型 MoE 模型可以通过硬件感知的并行策略和可复用内核显著提速，但它不是“所有 Qwen 任务都会快 4.7 倍”的通用承诺。
为什么 397B 模型仍有优化空间
Qwen 3.5-397B 总参数约 3970 亿，每个 token 只激活约 170 亿参数，激活比例约 4.3%。这种稀疏 MoE 结构降低了单次计算量，却把瓶颈转移到专家路由、跨芯片通信、KV 缓存和不规则张量处理。模型有 512 个路由专家，每次选择其中 10 个；同时只有 2 个 KV 头，传统的 8 路张量并行会遇到无法把两个头均匀切到八个设备的问题。
Google 改了并行方式而不是只换芯片
团队采用 8 路注意力数据并行与 8 路专家并行组合：注意力权重在各设备复制，每个核心本地处理完整 KV 头；512 个专家则平均分布到设备上。注意力和 MoE 层之间通过 All-Gather 与 Reduce-Scatter 交换数据，从而避免复制整套模型权重。
通信路径也被重新设计。团队把三次 All-Gather 合并为两次，并用分层 Reduce-Scatter 优先利用同一物理芯片内更快的连接，再跨芯片归并。针对推理内核，KV 页大小从 16 调到 256，使 512 并发下的解码步骤延迟从 428 微秒降到 283 微秒；Batched RPA、稀疏路由和融合 Gated DeltaNet 内核继续减少索引与内存搬运开销。
性能数字应该怎样理解
Google 的预填充测试使用 8K 输入、1K 输出，解码测试使用 1K 输入、8K 输出，并覆盖 64、128、256 和 512 四个并发档位。最终报告重点给出的 3.1 倍与 4.7 倍，是同一团队在特定硬件和软件栈上两个月优化前后的对比，不是与 GPU、其他 TPU 或其他云服务的横向结论。
在 64 并发基准下，优化栈的预填充吞吐达到每芯片每秒 3707 token，约为报告估算理论上限的 82.4%；解码吞吐为每芯片每秒 677 token。企业评估时还要结合请求长度、并发度、首 token 延迟、模型精度、编译时间和总体成本，不能只看峰值吞吐。
真正值得关注的是可复用性
这份报告的长期价值在于模块化方法。Google 把 Batched RPA、Grouped GEMM、SparseCore 处理和 Pallas 通信内核拆成可移植组件，并把部分优化接入 vLLM 与 SGLang。对于需要托管大型开放权重 MoE 模型的团队，这比一次性的跑分更重要：新模型若复用相近结构，可以少走一遍从零调优的过程。后续仍需观察这些优化在公开云实例、不同批量和真实混合请求中的稳定表现。
来源与说明
本文数据与技术细节来自 Google for Developers 于 2026 年 7 月 14 日发布的 Qwen 3.5 Ironwood TPU 优化报告。所有性能数字均保留其测试条件，不扩展为跨平台结论。
