NVIDIA는 Groq 3 LPX의 본격 양산에 착수했으며, 초기 도입은 Nebius에서 확인됐다.

월요일, 엔비디아(NVDA.US)는 자사의 Groq 3 LPX 랙 레벨 시스템이 본격적인 양산 단계에 진입했다고 발표하며, 저지연 AI 추론 기술의 공식 상용화를 알렸다. 이 이정표는 지난해 12월 약 200억 달러에 Groq 관련 자산을 인수한 이후 달성된 것으로, 엔비디아 역사상 최대 규모의 거래였다. 첫 번째 배치 시스템은 AI 클라우드 컴퓨팅 제공업체인 NEBIUS(NBIS.US)와 함께 도입되며, 올해 말 가동될 예정이다.

엔비디아의 디온 해리스 수석 이사는 미디어와의 인터뷰에서 Groq 3 LPX가 네비아스 데이터 센터에서 엔비디아 베라 중앙처리장치(CPU)와 루빈 그래픽처리장치(GPU)와 함께 배포될 것이라고 밝혔다. Groq 칩 아키텍처의 특징 중 하나는 기존 메모리 접근 방식과 관련된 데이터 전송 병목 현상을 완화하고 AI 모델 추론 시 응답 시간을 가속화하기 위해 칩 위에 500MB의 고속 SRAM을 직접 통합했다는 점이다. 엔비디아의 주요 GPU는 대만반도체(TSM.US)에서 제조하지만, Groq 칩은 삼성에서 생산한다. 현재 각 LPX 랙에는 256개의 Groq 3 칩이 통합되어 있다.

엔비디아가 인용한 Artificial Analysis의 벤치마크 데이터에 따르면, Groq 3 LPX 시스템은 초당 약 3,400개의 토큰을 생성할 수 있다. 생성형 AI에서 토큰은 텍스트 처리 및 생성의 기본 단위로 작용하며, 높은 토큰 처리량은 더 빠른 응답 속도를 가능하게 하여 AI 프로그래밍 및 실시간 에이전트와 같은 지연 시간에 민감한 애플리케이션에 중요하다. 해리스는 낮은 지연 시간이 클라우드 제공업체에게 엄격한 응답 요구 사항을 가진 고객에게 프리미엄 고가 서비스를 제공할 수 있게 한다고 지적했다. 그러나 그는 Groq 칩이 전통적인 GPU를 대체하기 위한 것은 아니라고 강조했다. “이는 GPU를 대체하는 것이 아니라, 워크로드의 서로 다른 부분에 가장 비용 효율적이고 고성능인 프로세서를 사용하는 것입니다.”라고 해리스는 말했다. GPU는 모델 학습과 일반 추론 모두를 위한 다목적 백본으로 계속 사용될 것이며, Groq은 콘텐츠 생성의 ‘디코딩’ 단계에 특화된다.

이러한 접근 방식은 엔비디아가 세분화된 AI 컴퓨팅 아키텍처로 나아가려는 노력을 시사한다. 베라 CPU와 루빈 GPU는 광범위한 컴퓨팅 워크로드를 관리하는 반면, Groq 칩은 지연 시간 민감형 추론 작업에 최적화된다. 산업계가 대규모 모델 학습에서 빠르게 확장되는 추론 수요로 전환함에 따라 저지연 부문에서의 경쟁이 치열해지고 있다. 올해 초 AMD(AMD.US)는 동일한 틈새 시장을 겨냥하여 Cerebras(CBRS.US) 칩과 랙 스케일 AI 시스템을 통합한다고 발표했다. 섹터의 중요성은 최근 Cerebras 인프라를 기반으로 한 초당 750개의 토큰을 약속하는 OpenAI의 Ultrafast 모드 발표로 부각되었다. 엔비디아는 테스트 조건과 애플리케이션 시나리오가 다르기 때문에 3,400개의 토큰 벤치마크를 직접적인 성능 비교로 간주해서는 안 된다고 경고했다.

동시에 엔비디아는 올해 초 생산에 들어간 베라 루빈 시스템의 출고를 가속화하고 있다. 올해 3월 플랫폼을 공개할 때 제슨 황 CEO는 현재 블랙웰 칩부터 차세대 베라 루빈 시스템까지의 누적 판매액이 2027년까지 1조 달러에 달할 것으로 전망했다. 황 CEO는 또한 데이터 센터 용량의 약 4분의 1을 AI 프로그래밍 애플리케이션용 Groq 칩에 할당하고 나머지는 베라 루빈 시스템에 배정할 계획이라고 밝혔다. 이러한 배정은 클라우드 기업과 AI 개발자에게 처리 속도가 결정적인 경쟁 우위가 되고 있는 저지연 추론 시장에서 엔비디아의 전략적 강조점을 보여준다. Groq 3 LPX 생산의 공식 증가는 엔비디아가 GPU 중심 공급업체에서 워크로드 맞춤형 전문 컴퓨팅 아키텍처 제공자로 진화했음을 의미한다. 투자자들은 이번 수요일 실적 발표와 함께 블랙웰 및 베라 루빈에 대한 수요 동향을 면밀히 주시할 것이다.