엔비디아는 Groq 3 LPX가 양산 단계에 진입했으며, 올해 내로 배포 랙이 가동될 예정이라고 확인했다.

엔비디아는 저지연 인공지능 추론 분야로의 전략적 확장을 기존 GPU 및 CPU 제품군과 함께 강화하며, 더 빠른 AI 에이전트에 대한 수요가 지속적으로 증가함에 따라 Groq 3 LPX 랙을 양산 단계로 전환했다.

월요일 발표된 Groq 3 LPX의 상용화는 엔비디아 역사상 최대 규모의 인수에서 파생된 기술의 시장 데뷔를 의미한다. 이 랙은 클라우드 제공업체 네비우스(Nebius)에서 베라(Vera) 중앙처리장치와 루빈(Rubin) 그래픽 처리장치가 설치된 환경에 도입될 예정이며, 초기 배포는 올해 말쯤 시작될 것으로 예상된다.

엔비디아가 Groq 칩을 제조하고 유통하기로 한 결정은 업계 전반에서 저지연 추론 기능에 부여하는 중요성이 커지고 있음을 보여준다. 이러한 기능은 특히 코딩 애플리케이션 분야에서 지각 가능한 지연 없이 AI 에이전트가 높은 반응성을 유지할 수 있도록 보장하는 데 필수적이다. 또한 클라우드 제공업체들은 이러한 고속 추론 워크로드에 대해 더 높은 가격을 책정할 수 있다.

12월, 엔비디아는 칩 스타트업 그록(Groq)으로부터 자산을 200억 달러에 인수했으며, 이는 동사의 역대 최대 규모 인수 사례 중 하나다. 그록의 아키텍처는 메모리 관련 병목 현상을 줄이기 위해 칩 위에 직접 탑재된 500메가바이트의 고속 SRAM을 포함한다. 그록 칩은 삼성에서 제조하는 반면, 대만반도체제조공사(TSMC)는 엔비디아의 GPU를 생산한다.

각 LPX 랙에는 256개의 Groq 3 칩이 통합되어 있다. Artificial Analysis의 벤치마크에 따르면, 엔비디아는 Groq 3 LPX 랙이 초당 최대 3,400개의 토큰을 처리할 수 있다고 주장한다.

이러한 발전은 엔비디아가 저지연 AI 추론을 목표로 하는 다른 기업들과 직접 경쟁하는 위치로 나아가게 한다. 올해 초 AMD는 랙 규모 시스템을 시레브라스(Cerebras)의 칩과 통합하겠다고 발표했다. 한편, 오픈AI는 최근 시레브라스 기반의 울트라패스트(Ultrafast) 모드를 출시했으며, 이는 초당 최대 750개의 토큰 속도를 약속한다.

그록과 같은 저지연 칩은 훈련과 추론을 포함한 AI 워크로드의 주요 동력인 GPU를 대체하기 위한 것이 아니다. 대신 그록 칩은 주로 AI 모델 서빙의 '디코드(decode)' 단계에 집중한다.

동시에 엔비디아는 올해 초 양산에 들어간 베라 루빈(Vera Rubin) 시스템의 출하량을 늘리고 있다. 3월 베라 루빈 플랫폼과 Groq 3 LPX 공개 행사에서 엔비디아 CEO 젠슨 황(Jensen Huang)은 블랙웰(Blackwell)과 베라 루빈 시스템의 누적 매출이 2027년까지 1조 달러에 달할 것으로 전망했다.