Google 开源 PyTorch 原生 TPU 后端

之前 PyTorch 用户想跑 TPU 只能用 torch_xla，调试体验差、报错信息晦涩是社区长期槽点。TorchTPU 是 Google 官方从头写的原生后端，直接对接 PyTorch 2.x 的编译栈，这意味着 torch.compile() 的 graph break 问题会少很多，性能可预期性更强。

跟 AWS 的 Trainium 后端（torch-neuronx）相比，Google 这次开源更彻底，ATen kernel 实现都放出来了，自定义算子门槛大幅降低。如果你在 GCP 上有 TPU 配额，或者正在对比 TPU v5p 和 H100 的训练成本，现在可以拿 Llama 示例直接跑 benchmark 了，不用先学一堆 XLA 概念。