반도체·하드웨어 · 리포트

Vera Rubin NVL72 architecture achieves 67x better performance per dollar in agentic inference workloads versus competing accelerators.

Superior agentic inference cost-efficiency could drive adoption of this architecture for long-context, reasoning-heavy AI agent deployments.

업계 전문지Slicast · 2026년 9월 14일 22:08 UTC · 미국 · 출처: SemiAnalysis

중요도 65

루빈(Rubin)은 에이전틱 시대를 위해 설계된 여섯 가지 통합 제품의 첫 번째 플랫폼입니다: 루빈 GPU, 베라 CPU, NVLink 6 스위치, ConnectX-9, BlueField-4 및 Spectrum-6입니다. 오늘 우리는 자체 벤치마크인 AgentX에서 측정한 루빈의 첫 번째 검증된 에이전틱 추론 결과를 발표합니다. 초기 사전 출시 소프트웨어를 사용함에도 불구하고 이러한 결과는 왜 이러한 광범위한 공동 설계가 필수적이었는지 보여줍니다.

GTC 2026에서 젠슨 황(Jensen Huang)은 O(1~3조) 파라미터 모델에서 초당 약 200 토큰(TPS)으로 블랙웰 대비 와라 루빈 NVL72가 메가와트당 성능이 3배 향상되었음을 보여주는 데이터를 제시했습니다. 그러나 사전 출시 소프트웨어에서의 실제 루빈 테스트는 메가와트당 토큰 처리량이 최대 7배 더 우수함을 드러냈습니다. 젠슨 황은 GTC에서 성능 주장을 과소평가하는 경향이 있습니다. GTC 2024에서 그는 GB200 NVL72가 호퍼(Hopper)의 성능을 30배 달성할 것이라고 밝혔지만, 우리의 독립적인 테스트에서는 98배 더 나은 성능이 기록되었습니다.

우리의 성능 추정치에 따르면, 초기 소프트웨어 빌드에서도 루빈은 블랙웰 플랫폼보다 기가와트당 수익이 2배 이상 발생합니다. 루빈 소프트웨어 스택, 커널 라이브러리 및 개발자 전문성이 성숙해짐에 따라 이 수익성 격차는 계속 확대될 것으로 예상됩니다.

우리는 업계 표준 에이전틱 추론 벤치마크 시나리오인 AgentX를 사용하여 성능을 평가합니다. AgentX는 수천 개의 칩으로 구성된 우리 클러스터 전체에서 실제 에이전틱 트래픽을 재생하여, 특정 시나리오에서 어떤 가속기가 가장 잘 수행되는지 결정할 때 추론 제공업체와 초규모 AI 연구소가 결과를 종합적으로 참조할 수 있게 합니다. 이 벤치마크는 Google Cloud, Microsoft Azure, Oracle, Meta를 포함한 거의 모든 주요 컴퓨팅 구매자에 의해 광범위하게 재현, 검증 또는 승인되었습니다. 또한 vLLM, LMCache, SGLang, PyTorch, Hugging Face와 같은 더 넓은 머신러닝 커뮤니티와 OpenAI, MiniMax, ZAI, Qwen, Moonshot AI와 같은 선도적인 AI 연구소의 지지를 받고 있습니다.

차세대 루빈 소프트웨어를 가동하고 에이전틱 벤치마크 결과를 검증하는 데 도움을 준 젠슨 황, Ian Buck, Nick Comly, Kedar Potdar, Rohit Nagraj 및 본토 중국 TensorRT-LLM 팀에게 감사드립니다. 오픈소스 벤치마크와 데이터가 유용하다고 생각되면 InferenceX GitHub 저장소에 별표를 눌러 주세요. InferenceX는 현재 TPUv7, NVIDIA 및 AMD를 지원하는 유일한 추론 벤치마크이며, 곧 SambaNova와 AWS Trainium도 지원될 예정입니다. AgentX 시나리오가 실제 에이전틱 추론 워크로드와 얼마나 밀접하게 일치하는지 고려할 때, AMD는 MI455X UALoE72 아키텍처에서도 협력하기로 약속했습니다.

고수준에서 에이전틱 워크로드는 네 가지 주요 특징으로 정의됩니다:

• 다중 턴 세션: 전통적인 챗봇과 달리 이러한 세션에는 수십 개 또는 수백 개의 사용자-어시스턴트 상호작용이 포함되며, 긴 컨텍스트와 높은 프리필 리유(prefill reuse)가 서브 에이전트 버스트와 빈번한 도구 호출과 결합됩니다.

• 긴 컨텍스트 축적: 시스템 프롬프트, 도구 정의 및 수많은 턴으로 인해 컨텍스트 창이 빠르게 확장됩니다.

• 높은 접두사 리유: 대화는 일반적으로 선형적으로 진행되어 n-1 턴 출력을 n 턴에 연결하므로, KV 텐서에 대한 사용 가능한 저장 공간에 의존하지만 대부분의 컨텍스트는 재계산 대신 KV 캐시에서 직접 제공됩니다. 턴 수가 증가함에 따라 캐시된 입력과 비캐시된 입력의 비율은 1에 가까워집니다.

• 서브 에이전트 버스트: 세션은 종종 새로운 컨텍스트를 가진 여러 개의 짧은 수명의 서브 에이전트를 시작하여 매우 버스티한(KV-cache access patterns) KV 캐시 접근 패턴을 생성합니다.

방법론에 대한 자세한 내용은 당사 AgentX 기사를 참조하십시오.

총 소유 비용(TCO)당 성능은 AI 가속기를 평가하는 데 중요한 지표입니다. 동봉된 차트에서 Y축은 TCO $1당 생성된 총 토큰 수를 나타내며, 이는 추론 제공업체가 컴퓨팅에 지출하는 달러당 몇 개의 토큰을 생산할 수 있는지를 보여줍니다. 이 수치는 시나리오 처리량을 모든 서비스 비용(칩당 시간당 비용에 배포된 칩 수를 곱한 값)으로 정규화하여 도출됩니다. SemiAnalysis AI Cloud TCO Model을 사용하여 InferenceX는 각 SKU에 대해 여러 TCO 기준선을 제공합니다. 기본 시나리오는 다음과 같습니다:

• 대규모 초규모 공급업체 보유: 예상 수명 동안 서버 및 네트워크 자본 지출을 상각하는 것을 포함한 하드웨어 소유 및 운영 비용을 모델링한 칩당 시간당 비용, 그리고 코로케이션, 전력 및 자본 비용을 포함합니다. 이는 볼륨 할인과 맞춤형 서버 구성을 반영한 초규모 공급업체의 구매 및 자금 조달 조건을 반영합니다.

• 임대 – 3년 계약: SemiAnalysis 임대 가격 조사에 기반한 3년 예약 인스턴스에 대한 칩당 시간당 시장 가격입니다.

사용자는 계산기에서 실제 요금을 반영하도록 컴퓨팅 비용을 조정할 수 있습니다. 온디맨드 임대 요금 및 단기 계약 기간을 포함한 추가 지표는 100개 이상의 GPU 고객, 뉴클라우드 제공업체 및 초규모 공급업체에 대한 월간 조사에 기반한 AI Cloud TCO Model에서 확인할 수 있습니다.

베라 루빈은 GB300 대비 달러당 성능에서 상당한 개선을 제공합니다. 170 TPS에서 동일한 조건의 TRT-LLM NVFP4 밀집 조건 하에서, 베라 루빈 NVL72는 보유 비용을 가정할 때 GB300 Dynamo TRT-LLM 구성 대비 TCO당 총 처리량이 약 67배 높습니다. 대부분의 제공업체가 실제로 이 모델을 배포할 60–100 TPS 범위에서 베라 루빈은 최신 GB300 TRT-LLM 설정보다 TCO당 처리량이 1.4배에서 3배 더 높습니다. 당사 테스트 랙은 컴퓨트 트레이당 2,300W TDP와 1.5TB의 CPU LPDDR5X를 갖춘 프로덕션 SKU를 사용합니다. (NVIDIA가 베라의 메모리 용량을 절반으로 줄인 결정에 대해서는 별도의 가속기 및 메모리 분석에서 논의합니다.) 이 보고서는 루빈의 TRT-LLM 성능에 중점을 두지만, 향후 출판물에서는 에이전틱 추론 워크로드에 대한 vLLM 및 SGLang 벤치마크를 다룰 예정입니다.

베라 루빈은 GB300 Dynamo TRT-LLM 대비 최대 P90 상호작용성이 약 61% 높아 171.53 TPS 대비 276.24 TPS를 달성합니다. 주목할 만한 점은 오픈소스 SGLang 스택을 사용할 경우 GB300이 베라 루빈의 상호작용성 수준과 맞먹을 수 있다는 것입니다.

우리는 이러한 결과가 초기 사전 출시 TRT-LLM 소프트웨어 빌드에서 비롯되었으며, 특히 성능 프론티어의 극단부(초고속 처리량 및 초저지연)에서 성능이 계속 개선될 것임을 인정합니다. 성능 프론티어를 전진시키고 반복적 개선을 추적하는 것이 InferenceX의 핵심 목표입니다. 또한 베라 루빈은 더 높은 처리량 수준에서 현저히 우수한 P90 엔드투엔드(E2E) 지연 시간을 보여줍니다. 초당 토큰(TPS)이 종종 성능 헤드라인을 지배하지만, 첫 토큰까지의 시간(TTFT) 및 E2E 지연 시간과 같은 지연 시간 지표는 프로덕션 환경에서 사실상 서비스 수준 협약(SLA) 표준을 대표하며 equally 중요합니다.

3년 임대 비용(2026년 7월 기준 루빈은 칩당 시간당 $8.50 이상, 블랙웰 울트라 NVL72는 칩당 시간당 $5.00이었음)을 고려하더라도 업그레이드는 경제적으로 정당화됩니다. 80 TPS P90 상호작용성 타겟에서 베라 루빈은 동일한 임대 TCO로 총 토큰을 62% 더 생성합니다. 성능 프론티어의 더 높은 상호작용성 세그먼트 전반에 걸쳐 루빈은 3년 임대 TCO당 최대 16배 더 많은 토큰을 제공합니다.

결론은 명확합니다: 베라 루빈 NVL72를 구매하거나 임대하는 것은 경쟁 가속기보다 훨씬 낮은 비용의 토큰을 생성하여 직접적으로 더 높은 마진으로 이어지므로 매우 유리합니다. 젠슨 황이 유명하게 언급했듯이 “더 많이 구매할수록 더 많이 번다.”

단일 노드 블랙웰 및 AMD MI355X 아키텍처와 비교할 때, TCO당 성능 우위는 전체 운영 곡선 전반에 걸쳐 확대됩니다. 현실적인 80 TPS P90 SLA에서 추론 제공업체는 B300 대비 보유 TCO 모델을 사용하여 달러당 10배 더 많은 토큰을 제공할 수 있습니다. 이 우위는 P90 엔드투엔드 지연 시간으로도 확장됩니다. 보유 비용 가정 하에서 TCO 달러당 6,000만 토큰의 처리량에서 베라 루빈은 P90 E2E 지연 시간이 약 20초인 반면, 최신 vLLM 서비스 스택을 실행하는 B200/B300 시스템은 60초입니다. 달러당 1억 6,000만 토큰에서 지연 시간 격차는 6배 확대됩니다: 베라 루빈은 20초인 반면 경쟁사는 120초입니다.

에이전틱 워크로드에서 베라 루빈은 H200을 사실상 구식 제품으로 만들며, 현대 AI 인프라에서 TI-84 계산기에 비유할 수 있습니다. 80 TPS P90 상호작용성 타겟에서 루빈은 달러당 18배 더 많은 토큰을 제공합니다. 120 TPS에서는 그 우위가 39배로 확대됩니다. 루빈의 상대적 우위는 주요 연구소에서 레거시 호퍼 배포의 주요 마이그레이션 대상인 오프라인 배치 추론 및 훈련에서는 덜 두드러진다는 점에 유의할 가치가 있습니다.

원문 보기