Nvidia Rubin GPU进入Google虚拟机，支撑接近100万GPU的多站点集群。

谷歌和英伟达宣布建立合作伙伴关系，提供多达一百万个英伟达GPU来支持新推出的A5X实例。A5X实例是谷歌最新产品，专门为运行代理型人工智能工作负载而设计，是谷歌AI超级计算机组合的一部分，该组合还支持该公司的Gemini平台以及其消费者和企业AI产品。这些实例依靠英伟达的网络加速器，后者支持为AI工作负载开发单集群和多集群计算基础设施。

A5X实例是谷歌首次推出的专为与英伟达最新Vera Rubin AI GPU配合工作而设计的产品。根据公告，A5X将使用英伟达的ConnectX-9网卡，这些网卡旨在加速基于以太网运行的云基础设施中的AI工作负载。这些新功能专门为代理型AI工作负载设计，该类工作负载依靠一组AI代理采取分步骤方法来解决问题或任务。

谷歌的Virgo平台通过在单个数据中心内和跨多个站点连接多个AI芯片，在支持该基础设施中发挥了核心作用。ConnectX-9网卡结合谷歌Virgo平台，将使用户能够在单个集群中访问多达80,000个Rubin GPU，在多站点集群中访问960,000个GPU。Virgo还支持谷歌的张量处理单元（TPU），可在单个数据中心中连接多达134,000个TPU，跨多个站点连接超过一百万个芯片。

根据英伟达的说法，与前一代相比，A5X实例能够提供10倍降低的每token推理成本和每兆瓦10倍更高的吞吐量。英伟达还强调了物理和工业AI应用，指出来自Cadence和西门子等公司的产品通过其基础设施提供支持，并可在谷歌云上获得。公告指出谷歌的Gemini平台可以在网络安全等行业部署代理型模型和工作流。