谷歌云推出第六代TPU用于AI基础设施。

Google Cloud在10月30日举办的应用日暨基础设施峰会上宣布，将通过新的TPU和NVIDIA GPU增强AI云基础设施。第六代Trillium NPU（首次在5月宣布）现已向云客户提供预览版，为Google Cloud许多最受欢迎的服务提供支持，包括搜索和地图。Google Cloud计算和AI基础设施副总裁兼总经理Mark Lohmeyer表示："通过AI基础设施的这些进步，Google Cloud使企业和研究人员能够重新定义AI创新的边界。我们期待这个强大基础将带来的变革性AI应用。"

第六代Trillium NPU在一个TPU集群中以91艾焦每秒的性能提供大语言模型应用的训练、推理和交付。与第五代相比，新版本每芯片的峰值计算性能提高了4.7倍，高带宽内存容量翻倍，芯片间互连带宽也翻倍。Trillium基础设施满足Stable Diffusion XL等大规模扩散模型的高计算需求，可以连接数万个芯片，创建Google Cloud所称的"建筑规模的超级计算机"。移动应用开发公司HubX的开发负责人Deniz Tuna报告称："我们使用Trillium TPU通过MaxDiffusion & FLUX.1进行文本生成图像，效果惊人！我们能在7秒内生成四张图像——与当前系统相比，响应延迟改善了35%，成本/图像降低了约45%！"

11月，Google将在其云服务中增加由NVIDIA H200张量核GPU驱动的A3 Ultra虚拟机。A3 Ultra虚拟机在Google Cloud数据中心范围内的网络上运行AI和高性能计算工作负载，GPU间流量达3.2 Tbps，将通过Google Cloud或Google Kubernetes Engine提供。Titanium ML网络适配器使用NVIDIA ConnectX-7硬件和Google Cloud数据中心范围内的4向导轨对齐网络，提供3.2 Tbps的GPU间流量，增强了Google Cloud的光电路交换网络结构。

Hypercompute Cluster包含A3 Ultra虚拟机，可通过API调用进行配置，利用JAX或PyTorch等参考库，并支持Gemma2和Llama3等开源AI模型进行基准测试。Google Cloud客户可在11月访问配备A3 Ultra虚拟机和Titanium ML网络适配器的Hypercompute Cluster。此外，Google Cloud正在为NVIDIA即将推出的Blackwell GB200 NVL72 GPU准备机架，预计将在2025年初被超大规模计算公司采用，并将连接到Google基于Axion处理器的虚拟机服务。