Hot Chips 2026에서 엔비디아는 Groq 3 LPX 아키텍처를 공개했으며, 이미 양산 중인 LP30 기반 랙의 첫 번째 서드파티 벤치마크 결과를 발표했다.
Hot Chips 2026에서 Nvidia의 하드웨어 부사장이자 전 Groq 수석 아키텍트인 Igor Arsovski가 Groq 3 LPX 추론 랙의 아키텍처를 공개하고 실리콘에 대한 최초의 제3자 벤치마크를 발표했습니다. Artificial Analysis는 100K 컨텍스트 Gemma 4 31B 추론 워크로드에서 시스템이 초당 3,431개의 출력 토큰을 처리한다고 측정했으며, 이는 두 번째로 빠른 공개 엔드포인트가 기록한 초당 870개 토큰의 약 네 배에 달합니다. Arsovski는 이 랙이 이미 생산 단계에 있으며, 2025년 12월 Nvidia가 Groq를 인수하는 데 지출한 200억 달러 거래를 통해 확보한 LP30 칩을 기반으로 구축되었다고 확인했습니다. 이 거래와 동시에 Rubin CPX는 Nvidia의 로드맵에서 제외되었습니다.
Artificial Analysis의 테스트는 Google Cloud를 통해 제공되는 비공개 사전 출시 Gemma 4 31B 엔드포인트에서 실행되었으며, 동시성 수준이 1일 때 50건의 순차적 클라이언트 요청의 중앙값을 계산했습니다. 반면 비교 대상인 공개 서비스 제공업체들은 공유된 프로덕션 서버리스 엔드포인트를 운영했습니다. 한 번에 단일 요청을 서빙하면 하드웨어가 달성할 수 있는 최대 사용자별 토큰 처리량을 얻을 수 있지만, 이는 다른 엔드포인트를 지배하는 다중 테넌트 조건과 직접적으로 비교하기는 어렵습니다. 프레젠테이션 중 Arsovski는 동일한 31B 모델에서 초당 10,996개 토큰이라는 더 높은 Nvidia 내부 수치를 선보였으며, 이를 "자기 보고"라고 명시한 후 "여러분이 신뢰할 수 있는 제3자 검증 독립 벤치마크 확보"를 회사의 목표로 강조했습니다. 그는 Gemma 4 31B가 단일 LPX 랙에 들어갈 만큼 충분히 작은 밀집 모델이라고 언급하며, 메모리 용량이 주요 제약 사항이 되는 트릴리언 파라미터 규모의 혼합 전문가(Mixture-of-Experts) 스케일은 다루지 않았다고 밝혔습니다.
각 LP30 칩은 온다이 SRAM 약 500MB를 탑재하고 HBM을 완전히 제거했습니다. 256개의 칩으로 구성된 전체 LPX 랙은 128GB의 메모리, 초당 40 PB의 집합 대역폭, FP8 연산 성능 315 PFLOPS를 제공하며, 칩 간 지연 시간은 350나노초입니다. 이 시스템은 1,000개 이상의 LPU로 확장 가능한 Vera Rubin 호환 MGX 액체 냉각 케이스 내에서 작동합니다. 모델 가중치를 HBM에서 스트리밍하는 대신 SRAM에 상주시켜 둠으로써, 일반적으로 단일 토큰 디코딩을 지배하는 메모리 접근 지연 시간을 제거합니다. 이는 캐시, 분기 예측 및 순서 불실행을 포기하고 컴파일러가 클록 사이클 단위로 예약하는 완전히 결정론적인 파이프라인을 선호함으로써 달성됩니다. 이 디자인은 Jonathan Ross(전 Google TPU 엔지니어)가 설립한 Groq가 2020년 ISCA 논문 *Think Fast*에서 처음 설명한 Tensor Streaming Processor로 직접적으로 거슬러 올라갑니다. 이 제목은 Arsovski와 Raghavan이 Hot Chips 프레젠테이션에서도 재사용했습니다.
참고로, Rubin GPU는 단일 LP30의 메모리보다 약 576배 많은 288GB의 HBM4를 탑재합니다. 결과적으로 FP8 기준 310억 파라미터 모델의 가중치를 보유하려면 약 62개의 LPU가 필요하며, 대규모 혼합 전문가 모델은 여러 랙에 걸쳐 사자리 수의 칩 수를 요구합니다. 이러한 용량 트레이드오프는 Nvidia가 LPU를 범용 GPU 대체재가 아닌 특정 디코딩용으로 포지셔닝하는 이유를 보여줍니다. 결정론적 실행은 또한 컴파일러가 사이클별로 전력 소모를 예측할 수 있게 하여, Nvidia가 수요 발생 전에 랙 레귤레이터로부터 전류를 사전 주문할 수 있게 합니다. 이 접근 방식은 보상되지 않은 부하에 비해 전압 강하를 60% 이상, 오버슈트를 70% 이상 줄입니다. 마찬가지로 블록별 스케줄링은 가장 뜨거운 타일로 스로틀링되는 대신 칩 전반에 열 분포를 균일하게 만들어 고정 열 제한 하에서 약 10~11%의 추가 성능을 제공합니다. Arsovski는 "이렇게 함으로써 우리는 기본적으로 동일한 열 제한 하에서 칩의 더 많은 활용률을 얻을 수 있습니다. 다시 말해, 동일한 열 제한 하에서 약 10~11% 더 많은 성능을 얻을 수 있습니다. 이것이 결정론적 실행의 또 다른 장점입니다"라고 설명했습니다.
랙 간에 Nvidia는 plesiosynchronous 네트워크라 칭하는 기술을 사용하여 칩들을 단일 가상 클록에 동기화합니다. 각 칩은 프로세서이자 라우터로서 기능하여 적응형 라우팅이나 혼잡 감지의 필요성을 없애며, 클록 드리프트는 칩 간 링크에서 직접 보정됩니다. Q&A 세션에서 작업 중간에 칩 고장이 발생할 경우의 영향에 대해 질문받자, Arsovski는 사용자가 "업계 내 다른 어떤 하드웨어와도 정확히 동일한 경험을 하게 될 것"이며 "체크포인트하거나 하드웨어를 재구성할 뿐"이라고 말했습니다.
Nvidia는 LPX 랙을 Vera Rubin NVL72와 함께 통합된 디코딩 보조 프로세서로 마케팅하고 있습니다. 여기서 Rubin GPU는 계산 집약적인 프리필 단계와 KV 캐시 구성을 관리하는 반면, LPU는 출력 토큰을 생성합니다. 회사는 세 가지 워크로드 분할 전략을 시연했습니다: 분리된 프리필 및 디코딩; 어텐션-FFN 분리(어텐션 및 해당 캐시를 GPU HBM에 유지한 채 LPU가 피드포워드 레이어 실행); 외부 드래프트 추측 디코딩(LPU의 소형 모델이 토큰을 제안하면 GPU가 병렬로 검증하며, 인터커넥스를 통과하는 것은 드래프트 토큰만 포함). FPGA는 호스트 I/O 및 GPU 핸드오프의 비동기 환경과 동기화된 LPU 도메인을 연결하며, Nvidia의 Dynamo 런타임과 CUDA 확장에 의해 조정됩니다. Nvidia는 400K 토큰의 캐시된 컨텍스트를 특징으로 하는 2조 파라미터 워크로드에서 Rubin 단독 대비 3~5배의 성능 향상을 제공한다고 보고하며, 이 수치는 회사 내부 측정 결과입니다.
동일한 Hot Chips 세션에서 Cerebras는 CS4 웨이퍼 스케일 시스템을 발표했습니다. 수석 시스템 아키텍트 Jean-Philippe Fricker는 플랫폼이 GPU보다 최대 30배 빠르고, 전작 CS3의 토큰 속도를 두 배로 높이며, 토큰 용량을 10배 제공한다고 보고했습니다. 각 CS4 랙은 전원, 컴퓨팅, I/O를 격리시키는 플러그인식 컴퓨팅 "백팩"을 중심으로 구축된 모듈식 Nexus 플랫폼에 세 개의 웨이퍼 스케일 엔진을 통합합니다. Fricker는 메모리 대역폭을 초당 43 PB로 지정하며, 이는 "Nvidia의 차세대 Rubin 칩보다 2,000배 높은 메모리 대역폭"이라고 언급했습니다. Cerebras는 또한 프리필 워크로드를 위해 파트너십을 맺었으며, 7월에 AMD Helios GPU를 프리필용, 웨이퍼 스케일 엔진을 디코딩용으로 페어링하기로 합의했습니다. 이는 Nvidia의 자체 Groq 통합과 유사한 업무 분담입니다.
전략적으로 Nvidia는 올해 LPU 출시에 우선순위를 두기 위해 GDDR7 기반의 긴 컨텍스트 가속기인 Rubin CPX를 철회했으며, 이 움직임은 GTC 2026에서 VP Ian Buck에 의해 개요가 제시되었습니다. 200억 달러 규모의 Groq 거래는 비독점 IP 라이선스와 Ross, 사장 Sunny Madra, 그리고 Groq 엔지니어링 인력의 대부분 채용으로 구성된 형태로 구조되어 공식 합병 검토를 우회하도록 설계되었습니다. Arsovski는 프레젠테이션을 시작하며 이를 "이제 Nvidia 그룹에 통합된 Groq 팀에게는 믿기지 않는 순간"이라고 불렀습니다. 한편 규제 심사는 계속되고 있습니다. 상원의원 Elizabeth Warren과 Richard Blumenthal은 2026년 초 FTC와 Nvidia에 서한을 보내, 이 arrangement이 사실상 Groq를 "명목상 빼고는 모두 인수한 것"이라고 주장했습니다. 8월 말 현재 공식적이고 거래 특화적인 조사가 확인되지는 않았습니다.