엔비디아는 저지연 AI 추론용 LPX 랙 시스템의 양산에 돌입했다.

엔비디아는 AI 추론 가속화를 위한 LPX 랙이 양산 단계에 진입했다고 확인했다. 지난 3월 GTC에서 공개된 이 랙 규모 플랫폼은 엔비디아의 그록(Groq) 인수합병(acqui-hire) 이후 개발되었다. 액체 냉각 방식인 LPX 시스템은 640 Tb/s의 스케일업 대역폭으로 상호 연결된 256개의 그록 3 언어 처리 장치(LPU)를 탑재하고 있다. 각 랙 내부에서는 방금 소개된 스펙트럼-6(Spectrum-6) 이더넷 네트워킹 기술을 사용하여 블루필드-4 데이터 처리 장치(DPU), 베라 중앙처리장치(CPU) 랙, 그리고 STX 스토리지 서버가 통합된다.

LPX는 엔비디아의 플래그십인 NVL72 플랫폼을 대체하기 위한 것이 아니라, 낮은 지연 시간의 AI 추론 기능을 필요로 하는 운영자를 위해 맞춤화된 보완적 솔루션이다. 팔로알토에서 열린 이번 주 핫 칩스(Hot Chips) 컨퍼런스에서 엔비디아는 LPX 플랫폼이 초당 3,400개의 출력 토큰을 지속적으로 생성할 수 있음을 보여주는 업계 벤치마킹 결과를 발표했다. 해당 기업은 이 아키텍처가 에이전트 워크플로우의 실행 시간을 시간 단위에서 분 단위로 줄여주며, AI 에이전트 및 기타 지연 시간 민감형 애플리케이션에 대해 4배 더 빠른 응답성을 제공한다고 밝혔다.

"LPX는 지능 생산 방식을 변화시켜 AI 처리량, 효율성, 응답성 측면에서 또 다른 거대한 도약을 가져올 것입니다."라고 엔비디아 창립자이자 최고경영자(CEO)인 젠슨 황은 말했다. "추론은 AI의 성장 엔진입니다. 엔비디아 그레이스 블랙웰과 NVL72는 성능과 효율성의 전례 없는 도약으로 대규모 언어 모델(LLM) 추론을 혁신했습니다. 베라 루빈은 에이전트 AI 시대에 맞춰 설계된 워크로드 최적화 AI 팩토리 구성을 통해 이러한 비전을 확장하며, 초고속 토큰 생성을 위한 LPX로 성능 한계를 끌어올리고 있습니다."

LPX 플랫폼은 올해 말 출시될 예정이다. 초기 도입 기업 중 하나인 네비우스(Nebius)는 그록 3 LPX 아키텍처를 자사의 Token Factory 서비스에 통합할 계획이다. 네비우스 CTO 다닐라 슈탄(Danila Shtan)은 이 배포가 "에이전트의 루프 모든 순간을 즉각적으로 느껴지게 할 것"이라고 밝혔다.