英伟达在完成对推理芯片公司Groq的200亿美元收购后，已开始生产Groq AI机架。

英伟达（Nvidia）周一宣布，其Groq 3 LPX人工智能机架已进入全面生产阶段，将该公司通过创纪录的200亿美元收购Groq资产所获得的技术商业化。这笔交易于去年12月完成，是英伟达有史以来规模最大的交易。

Groq 3 LPX系统专为低延迟推理而设计——即经过训练的AI模型生成响应的过程——旨在解决AI性能中的一个关键瓶颈。对于AI代理和编程助手而言，更快的推理速度尤为重要，因为即使是微小的延迟也会降低用户体验。据英伟达引用的基准测试显示，每个机架集成了256颗Groq 3芯片，每秒可提供约3,400个token的处理能力。为了最大限度地减少与内存相关的瓶颈，Groq架构在每个芯片上直接嵌入了500兆字节的高速静态随机存取存储器（SRAM）。这些芯片由三星电子（Samsung Electronics）制造，而台积电（Taiwan Semiconductor Manufacturing Company）则继续为英伟达生产图形处理器（GPU）。

英伟达强调，这些专用系统旨在补充而非取代传统的GPU。虽然GPU同时处理AI模型的训练和推理，但Groq芯片针对模型执行中延迟敏感的“解码”阶段进行了优化。新的机架将与云基础设施提供商Nebius部署的英伟达Vera中央处理器（CPU）和Rubin图形处理器（GPU）一起使用，预计将于今年晚些时候开始运营。与此同时，英伟达正在增加其Vera Rubin系统的发货量，该系统已于今年早些时候投入生产。

展望未来，英伟达首席执行官黄仁勋在3月份表示，公司预计其Blackwell和Vera Rubin平台的累计销售额到2027年将达到1万亿美元。黄仁勋还指出，所有用于编程应用的数据中心容量中，将有四分之一采用Groq芯片。

进军专用推理硬件反映了科技公司在竞相使AI服务更快、更具成本效益的过程中日益激烈的竞争。作为回应，英伟达的竞争对手超威半导体（Advanced Micro Devices）已宣布计划将机架级系统与Cerebras开发的推理芯片集成。