엔비디아는 추론 칩 제조사 그롭을 200억 달러에 인수한 후 그롭 AI 랙의 생산을 시작했다.

엔비디아는 월요일 자사의 Groq 3 LPX 인공지능 랙이 양산 단계에 진입했다고 발표했으며, 이는 반도체 제조업체가 Groq 자산을 기록적인 200억 달러에 인수하면서 확보한 기술을 상용화하는 것이다. 12월에 최종 확정된 이 인수는 엔비디아 역사상 최대 규모의 거래다.

저지연 추론, 즉 훈련된 AI 모델이 응답을 생성하는 과정을 위해 특별히 설계된 Groq 3 LPX 시스템은 AI 성능의 중요한 병목 현상을 해결한다. 특히 AI 에이전트와 코딩 어시스턴트의 경우 미세한 지연도 사용자 경험을 저하시키기 때문에 빠른 추론 속도가 매우 중요하다. 엔비디아가 인용한 벤치마크에 따르면 각 랙에는 256개의 Groq 3 칩이 통합되어 있으며 초당 약 3,400개의 토큰을 처리할 수 있다. 메모리 관련 병목 현상을 최소화하기 위해 Groq 아키텍처는 각 칩 위에 직접 500메가바이트의 고속 정적 랜덤 액세스 메모리를 내장하고 있다. 칩 자체는 삼성전자에서 제조하며, 대만세미콘덕터매뉴팩처링컴퍼니는 여전히 엔비디아의 그래픽 프로세서를 생산하고 있다.

엔비디아는 이러한 전용 시스템이 전통적인 GPU를 대체하기보다 보완하기 위한 것이라고 강조했다. GPU는 AI 모델 학습과 추론 모두를 처리하는 반면, Groq 칩은 모델 실행 중 지연에 민감한 '디코드' 단계에 최적화되어 있다. 새로운 랙은 클라우드 인프라 제공업체인 Nebius에서 엔비디아의 Vera 중앙처리장치 및 Rubin 그래픽처리장치와 함께 배치될 예정이며, 운영은 올해 말 시작될 것으로 예상된다. 동시에 엔비디아는 올해 초 양산에 들어간 Vera Rubin 시스템의 출하량을 늘리고 있다.

앞으로 전망하면, 엔비디아 최고경영자 제슨 황은 3월 회사를 통해 블랙웰과 베라 루빈 플랫폼의 누적 매출이 2027년까지 1조 달러에 달할 것으로 예상한다고 밝혔다. 황은 또한 모든 데이터 센터 용량의 4분의 1이 코딩 애플리케이션에 사용되며, 이때 Groq 칩이 활용될 것이라고 덧붙였다.

전용 추론 하드웨어로의 진출은 기술 기업들이 AI 서비스를 더 빠르고 비용 효율적으로 만들기 위해 치열하게 경쟁함에 따라 격렬한 경쟁을 반영한다. 이에 대응해 엔비디아 경쟁사인 애드밴스드 마이크로 디바이시스도 세레브라스가 개발한 추론 칩과 랙 규모 시스템을 통합할 계획을 발표했다.