TorchTPU 把“把 PyTorch 模型搬到 Google TPU 上”这件事，压缩成了改一行代码。2026 年 10 月 20 日，PyTorch 官方博客发布 TorchTPU：这是 Google 与 Meta 的 PyTorch 团队合作的开源项目，为 TPU 提供原生 PyTorch 后端，原来写 .to("cuda") 的地方改成 .to("tpu") 就能开箱运行。项目由 Google 在 2025 年年中启动，代码已在 GitHub 公开，四个仓库 TorchTPU、vLLM-TorchTPU、SGLang-TorchTPU 和 TorchTitan 在 2026 年 10 月的 PyTorch 大会上同步开源。
和旧的 PyTorch/XLA 有什么不同
TPU 以前并非跑不了 PyTorch，但旧路线 PyTorch/XLA 基于延迟张量，要改源码圈定可编译区域、编译等待长、不支持 PyTorch 原生的即时执行模式，还总跟不上社区新特性。TorchTPU 换了地基：运行时不依赖 JAX，即时执行优先，torch.compile 走 Dynamo 而非旧机制，分布式训练常用的 DDP、FSDP、DTensor 在底层直接提供 TPU 集合通信。目前已支持约 450 个 ATen 算子，并在 Hugging Face 下载量最高的 5000 个模型上验证了开箱执行，涵盖 Qwen、DeepSeek、Gemma、Llama 等语言模型和 Whisper、CLIP 等多模态模型。
不是演示，已经在生产和万卡规模上跑过
官方博客称，TorchTPU 已被部分 Google Cloud 大客户用于生产环境的推理和训练。扩展性测试里，Qwen3 MoE 235B 用 TorchTitan 扩展到 8192 张 TPU v7 芯片，性能与 JAX 的 MaxText 方案基本同档；推理侧引用 SemiAnalysis 的 InferenceX 独立评测，TPU v7 配 vLLM-TorchTPU 的每百万 token 成本降到 2.01 美分。这些数字来自官方博客与被引用的第三方评测，口径要留意，但至少说明它不是停留在示例代码阶段的项目。
边界：跑起来容易，跑到峰值仍要调
博客自己也提醒，把设备名改掉只能保证跑通，想吃满 TPU 性能，还得处理模型形状、分片策略和算子适配，进阶做法是写 Pallas 自定义内核或用 vLLM、SGLang 的 TPU 版本。接下来 6 到 12 个月的路线图包括生产加固、FP8 与 FP4 量化，以及把训练与采样拼成完整的强化学习闭环。TechCrunch 同日报道指出，亚马逊此前也推了面向自家芯片的 TorchNeuron，两家云厂商都在拆 PyTorch 生态对英伟达 CUDA 的默认依赖。对有多云或议价需求的团队，TPU 从此多了一条不用重写代码的试水路径。
