Google 第八代 TPU 拆分训练推理
值得看指数 77.0 NO. 016 · 2026.04.23
发布2026/04/22
为什么值得看
Google 发布 TPU 8t（训练）和 TPU 8i（推理），首次在同代架构中针对训练和推理做专用芯片拆分。训练集群可扩至 9600 芯片、121 ExaFlops，推理芯片配 288GB HBM 让工作集全留片上——云厂商自研芯片的军备竞赛已升级到架构层面分化。
编辑判断
Google 这次拆分训练和推理芯片，说明单一架构通吃两端的思路在超大规模模型时代已经走到头。TPU 8t 的 2PB 共享内存池和 121 ExaFlops 算力，本质上是在对标 NVIDIA GB200 NVL72 的集群化思路，但用自研芯片把成本压得更低。
对读者的直接影响：如果你在 GCP 上跑大模型训练，TPU 8t superpod 的性价比值得重新评估；如果是推理密集型业务，TPU 8i 的片上 SRAM 设计对延迟敏感场景（如实时对话、广告排序）可能是更优解。建议关注 Google 接下来是否会把 TPU 8i 开放给 Vertex AI 的外部客户，这决定了它能否真正威胁到 NVIDIA 的推理垄断地位。