英伟达已开始全面量产Groq 3 LPX，首批系统已确认部署于Nebius。

周一，英伟达（NVDA.US）宣布其Groq 3 LPX机架级系统已进入全面量产阶段，标志着其低延迟AI推理技术正式实现商业化。这一里程碑事件紧随该公司去年12月以约200亿美元收购Groq相关资产之后，这也是英伟达历史上最大的一笔交易。首批系统将部署在AI云计算提供商NEBIUS（NBIS.US），并计划于今年晚些时候上线运行。

英伟达高级总监Dion Harris向媒体表示，Groq 3 LPX将与Nebius数据中心内的英伟达Vera中央处理器和Rubin图形处理器一同部署。Groq芯片架构的一个显著特征是将500MB的高速SRAM直接集成在芯片上，这有助于缓解与传统内存访问相关的数据传输瓶颈，并加速AI模型推理过程中的响应时间。虽然英伟达的主要GPU由台积电（TSM.US）制造，但Groq芯片则由三星生产。每个LPX机架目前集成了256颗Groq 3芯片。

据英伟达引用的Artificial Analysis基准数据显示，Groq 3 LPX系统每秒可生成约3,400个token。在生成式AI中，token是文本处理和生成的基本单位；更高的token吞吐量能够实现更快的响应速度，这对于AI编程和实时代理等对延迟敏感的应用至关重要。Harris指出，较低的延迟使云提供商能够向具有严格响应要求的客户提供溢价、更高价格的服务。然而，他强调Groq芯片并非旨在取代传统GPU。“这不是关于取代GPU，而是为工作负载的不同部分使用最具成本效益和高性能的处理器，”Harris表示。GPU将继续作为模型训练和通用推理的多功能骨干，而Groq则专门专注于内容生成中的“解码”阶段。

这一举措表明英伟达正推动细分AI计算架构的发展：Vera CPU和Rubin GPU将管理广泛的计算工作负载，而Groq芯片则针对对延迟敏感的推理任务进行了优化。随着行业从大规模模型训练转向迅速增长的推理需求，低延迟领域的竞争日益激烈。今年早些时候，AMD（AMD.US）宣布将Cerebras（CBRS.US）芯片整合到机架级AI系统中，以瞄准同一细分市场。OpenAI最近宣布的Ultrafast模式突显了该领域的重要性，该模式承诺利用Cerebras基础设施实现每秒750个token的速度。英伟达警告称，由于测试条件和应用场景不同，其3,400个token的基准数据不应被视为直接的性能比较。

与此同时，英伟达正在加速Vera Rubin系统的出货，该系统已于今年早些时候投入生产。在今年3月发布该平台时，首席执行官黄仁勋预计，从当前的Blackwell芯片到下一代Vera Rubin系统的累计销售额到2027年可能达到1万亿美元。黄仁勋还透露，计划将数据中心容量的大约四分之一用于AI编程应用的Groq芯片，其余部分分配给Vera Rubin系统。这一分配凸显了英伟达对低延迟推理市场的战略重视，处理速度正成为云公司和AI开发者决定性的竞争优势。Groq 3 LPX生产的正式投产标志着英伟达从以GPU为中心的供应商向提供专业化、量身定制工作负载计算架构的提供商演变。投资者将在本周三公司公布财报时密切关注这些发展动态，以及Blackwell和Vera Rubin的需求趋势。