英伟达宣布其Groq 3 LPX加速器在量产爬坡期间实现较前代高出30倍的每兆瓦吞吐量。

英伟达（Nvidia）于美国东部时间8月24日（周一）宣布，其专为交互式AI推理设计的Groq 3 LPX机架级系统已正式进入全面量产阶段。这一里程碑标志着该公司低延迟AI推理技术实现了商业化部署，此前英伟达在去年以约200亿美元（约合新台币6400亿元）的价格收购了AI芯片初创公司Groq的相关资产。首批系统将部署在AI云计算服务提供商NEBIUS（NBIS），并计划于今年晚些时候上线运行。

英伟达高级总监Dion Harris向媒体表示，Groq 3 LPX将在NEBIUS数据中心与Vera CPU和Rubin GPU协同工作。他指出，对于提供AI推理服务的云提供商而言，降低延迟使他们能够向那些要求更快响应时间的客户收取溢价费用。

在性能方面，英伟达引用了Artificial Analysis的独立基准测试数据，显示Groq 3 LPX在运行Google的Gemma 4 31B模型且上下文窗口为10万token时，达到了每秒3,400个输出token的速度——为该模型创下的纪录。在代理编程等低延迟负载下，其响应速度达到最近竞争对手平台的四倍。

英伟达还公布了Vera Rubin NVL72在实际代理工作负载下的最新测试结果。使用SemiAnalysis的AgentX工作负载配合DeepSeek V4 Pro模型，Vera Rubin每兆瓦吞吐量比上一代GB300 NVL72高出多达30倍，同时将每个token的成本降低了多达35倍。

该公司强调，代理任务与传统聊天或摘要有着根本区别。任务上下文在数百个步骤中不断累积，可能达到数十万个token。英伟达引用OpenRouter的数据指出，代理AI工作负载消耗的token数量可能是简单聊天请求的15倍。一个代理可能会先查询数据库，然后搜索新闻和文档，调用子代理进行分析，执行代码，并反复验证结果——而整个过程都在不断累积上下文。

这种动态为AI基础设施经济学引入了一个新的衡量指标：每兆瓦电能可以完成多少有效的代理任务？随着电力和数据中心资源日益成为AI扩展的瓶颈，最大化单位电力的产出token数可能比单纯追求峰值算力更为关键。

从架构角度来看，Groq 3 LPX并非独立产品，而是英伟达针对Vera Rubin采取的“极端协同设计”方法的一部分。整个系统围绕计算、网络、存储和软件进行工程化设计，涵盖了Rubin GPU、Vera CPU、Groq 3 LPX、BlueField-4 DPU、Spectrum-6 SPX以及其他组件。

Harris表示：“这不是关于取代GPU，而是关于根据工作负载的不同部分，使用性价比最合适的处理器。”

Groq芯片架构的一个显著特征是将500 MB的高速SRAM直接集成在芯片上，旨在消除传统内存访问固有的数据传输瓶颈。与依赖GDDR7或HBM4等高速DRAM的传统数据中心GPU不同，Groq芯片完全依赖于片上SRAM，其运行速度比当今可用的最佳HBM堆栈快几个数量级。作为Vera Rubin平台一部分发布的第三代Groq芯片，声称拥有150 TB/s的内存带宽。

然而，SRAM占用大量的晶圆面积，限制了单个芯片内容量的轻松扩展。英伟达最高规格的Rubin GPU拥有288 GB的片上内存，而每个Groq 3 LPU仅持有500 MB——相差576倍。这不足以在单个LPU上运行Gemma 4 31B模型，因此英伟达利用以太网将模型分布在多个加速器上。每个LPX机架最多可容纳256个LPU，提供总共128 GB的高速SRAM。英伟达目前在一个LPX机架中集成了256颗Groq 3芯片。虽然英伟达的主要GPU由台湾积体电路制造公司（TSMC）制造，但Groq芯片则由三星代工生产。

值得注意的是，Gemma 4 31B代表了该硬件的理想场景。该模型是稠密的，意味着生成的每个token都会激活全部310亿个参数。这一数字与DeepSeek V3等大型混合专家（MoE）模型的活跃参数数量非常接近。然而，运行像DeepSeek V3这样拥有6710亿参数的MoE模型需要1,342个加速器——超过五个LPX机架。此外，由于每个token路由不同的参数，MoE模型会产生稠密模型所没有的性能开销。

同一天，英伟达宣布SpaceX AI将采用Vera CPU来加速下一代代理AI应用，并扩大其基于Vera Rubin的平台建设，随着计算能力向千兆瓦级别扩展。此外，SpaceX AI计划在太空中部署优化版的Vera Rubin NVL72，用于其第一代Starmind AI卫星。

Vera专为模型推理之外的CPU工作负载而设计，包括工具调用、代码执行、数据处理、任务编排和模拟。它配备了88个英伟达设计的Olympus核心，并配备高带宽LPDDR5X内存，可提供高达1.2 TB/s的带宽。英伟达声称，在代理AI、强化学习和数据处理工作负载中，Vera完成任务的速度比x86 CPU快多达1.8倍。

对于SpaceX AI而言，Vera的价值不仅在于原始CPU性能。在代理执行期间，大量任务发生在GPU推理步骤之间——执行代码、处理数据、调用工具和协调代理。如果CPU不能迅速处理这些任务，GPU可能会闲置，从而降低整体AI工厂的利用率。

随着行业从大规模模型训练转向快速增长的推理需求，低延迟推理市场的竞争正在加剧。今年早些时候，AMD宣布将其机架级AI系统与Cerebras芯片集成，同样瞄准低延迟AI推理市场。

根据Artificial Analysis的排行榜，在相同的Gemma 4 31B、10万上下文条件下，Cerebras每秒交付882个token，而英伟达的Groq 3 LPX达到3,400个token——存在明显的四倍差距。然而，市场分析师指出重要的细微差别。Cerebras通常在混合精度下运行模型，整个Gemma 4 31B模型可以放入一个或两个44 GB的CS-3加速器中，而英伟达至少需要64颗芯片。此外，Cerebras最近宣布了下一代CS-4加速器，基于WSE-3T架构构建。与现有芯片相比，它将计算能力、I/O带宽、网络速度和内存带宽翻倍，同时将每个机架的加速器数量增加两倍。新系统预计将于今年晚些时候在Cerebras推理云上推出，搭配类似于英伟达NVL72+LPX配置的异构GPU+WSE设置。

OpenAI最近宣布的Ultrafast模式承诺达到每秒750个token，底层计算由Cerebras提供。然而，各系统的测试条件和应用场景各不相同，这些数据不应被视为直接的性能比较。

英伟达首席执行官黄仁勋在今年3月发布Vera Rubin和Groq 3 LPX时预测，从目前Blackwell芯片到下一代Vera Rubin系统的累计销售额可能在2027年达到1万亿美元。他当时还透露……