NVIDIA宣布Vera Rubin NVL72扩展新Groq 3 LPX推理加速器

NVIDIA宣布，Vera Rubin机架规模系统与新发布的NVIDIA Groq 3 LPX配合，现已投入全面生产。在使用Gemma 4 31B（开源智能体模型）的测试中，Groq 3 LPX为对智能体系统至关重要的100,000令牌长上下文用例每秒交付3,400个输出令牌，性能比最接近的替代平台快4倍。

AI基础设施从模型训练向推理转变已成为业界的中心焦点。随着智能体系统的成熟，它们需要在前所未有的规模上优化吞吐量、响应速度和经济性的基础设施。这些系统生成更多令牌、处理明显更大的上下文窗口，并日益与其他AI系统协作以解决复杂问题。NVIDIA以其所谓的"极端协同设计"作出回应——将计算、网络和推理加速作为一个统一系统进行架构，专为长上下文推理和多智能体应用而构建。

Vera Rubin平台是这一架构的基础。Vera Rubin被设计用于加速推理，使智能体能够对日益增长的长序列进行推理。NVIDIA Spectrum-X以太网网络高效地跨AI工厂移动大规模数据流。Groq 3 LPX是一种新型低延迟推理架构，专为以超快速度生成令牌而构建。与独立加速器不同，Groq 3 LPX通过极端协同设计将GPU和专用推理处理器结合，使Rubin GPU能够处理大规模上下文处理，同时LPX加速延迟敏感型解码工作负载。在规模部署中，机架级部署可包含256个LP30加速器，通过直接芯片间链接连接，形成高效的推理引擎。

NVIDIA的合作伙伴已在采用Vera Rubin平台。Nebius是首家部署Groq 3 LPX的AI云服务商，为开发者提供领先的令牌生成速度，支持高度响应的智能体AI应用。CoreWeave在生产环境中部署Spectrum-X Multiplane，通过并行交换机连接多个Vera Rubin机架，提供高带宽、平坦且无损的AI网络。SpaceXAI计划围绕NVIDIA Vera CPU构建其未来AI架构，部署它们以加速智能体AI背后的CPU密集型工作，包括编排、工具调用、代码执行、数据处理和模拟——计划范围从地球数据中心延伸至轨道卫星。