NVIDIA Developer는 Vera Rubin 및 Blackwell 플랫폼이 에이전트 AI 워크로드를 위해 새로운 성능 대비 전력 효율성 기준을 수립했다고 밝혔습니다.
AI 에이전트는 단발성 상호작용에서 추론 범위를 확장하여, 여러 단계의 워크플로우를 통해 추론하고, 도구를 호출하며, 서브에이전트를 조정하고, 턴을 넘어가는 맥락을 점차적으로 축적하고 있습니다. 이러한 변화는 실제 소비 데이터에서도 명확히 드러나고 있습니다. OpenRouter의 AI 현황 보고서에 따르면, 100조 개의 토큰에 달하는 실제 사용량 분석 결과, 요청당 평균 프롬프트 토큰 수는 약 4배 증가했으며, 단일 에이전틱 요청은 일반 채팅보다 15배 많은 토큰을 소모합니다. 이러한 워크로드에 대한 하드웨어 성능을 적절히 평가하는 것은 새로운 과제를 제시합니다. 유용한 벤치마크는 긴 컨텍스트 프리필(prefill), KV 캐시 재사용, 대화형 디코드(decode), 도구 호출 간격(tool-call gaps), 그리고 현실적인 동시성 하에서의 분산 혼합 전문가(MoE) 실행을 모두 포착해야 합니다. 또한 AI 팩토리의 전력 예산 중 얼마나 많은 부분이 수용 가능한 사용자 경험을 유지하면서 유용한 에이전틱 처리량(throughput)으로 전환되는지를 정량화할 수 있어야 합니다.
이를 해결하기 위해 우리는 InferenceX 스위트(suite) 내의 오픈소스 벤치마크인 SemiAnalysis AgentX를 검토합니다. 이 벤치마크는 재생된 프로덕션 스타일 세션을 사용하여 에이전틱 코딩 추론을 위한 AI 인프라를 평가합니다. 에이전틱 세션은 본질적으로 길고 상태(stateful)가 유지되며 가변적입니다. 이는 고정된 프롬프트-응답 패턴을 따르는 대신 모델 호출, 도구 사용 및 확장되는 컨텍스트를 체이닝(chaining)합니다. AgentX는 플랫폼이 재생된 에이전트 트래픽에 대해 반응성 있게 서비스를 제공할 수 있는지, 이전에 처리된 컨텍스트를 효율적으로 재사용할 수 있는지, 그리고 할당된 메가와트당 에이전틱 처리량을 극대화할 수 있는지를 측정합니다. 기존 정적 시퀀스 길이 시나리오는 프로덕션 트래픽을 제한적으로만 반영한다는 이유로 InferenceX에서 유지보수 모드로 격하되었으나, AgentX는 처리량과 상호작용성 간의 트레이드오프를 매핑하기 위해 동시성을 가변적으로 조절합니다. DeepSeek-R1-0528 모델을 사용하고 입력 시퀀스 길이는 8K, 출력 시퀀스 길이는 1K로 설정한 이전 정적 벤치마크에서는 GB300 NVL72가 H200 대비 메가와트당 최대 40배 더 많은 토큰을 처리하여 강력한 기본 효율성을 입증했지만, 실시간 에이전트 트래픽의 역동적인 특성은 포착하지 못했습니다.
AgentX는 추론(reasoning)과 도구 사용이 교차된 Claude Code 세션을 사전 녹음하여 서비스 성능을 평가합니다. 각 세션은 AIPerf 클라이언트를 사용하여 턴별로 재생되며, 모든 시스템이 동일한 기록된 트래픽을 받도록 보장합니다. 이를 통해 관찰된 차이는 벤치마크 특정 튜닝이 아닌 서비스 스택(serving stack)의 차이에서 비롯된 것임을 명확히 합니다. 이 재생 과정은 각 세션의 컨텍스트와 입력/출력 시퀀스 길이를 보존하며, 원래의 추론 시간과 도구 호출 지연 시간도 그대로 유지합니다. 이러한 간격들은 원래 궤적의 타이밍을 유지하여 현실적인 벤치마크가 포착해야 하는 KV 캐시 용량 압력을 정확하게 재현합니다. AI 팩토리의 주요 지표는 메가와트당 토큰 수이며, 이는 네 가지 사용자 경험 임계값(end-to-end normalized interactivity, standard interactivity, end-to-end latency, time to first token(TTFT))에 대해 보고됩니다. 이러한 지표는 프로덕션 배포를 위해 각 임계값을 어떻게 최적으로 활용할지에 대한 명확한 지침을 제공합니다.
NVIDIA가 SemiAnalysis AgentX 워크로드를 사용하여 측정한 최근 미리보기 결과는(SemiAnalysis 검토 대기 중임) 상당한 효율성 향상을 강조합니다. AgentX DeepSeek V4-Pro 워크로드에서 NVIDIA Vera Rubin NVL72는 사용자당 초당 160 토큰이라는 목표 하에서 GB300 NVL72 대비 메가와트당 AI 팩토리 처리량이 최대 30배 높습니다. 이는 동일한 상호작용 서비스 목표를 유지하면서 에이전틱 추론 용량이 크게 증가했음을 보여줍니다. 한편, GB300 NVL72는 이전 아키텍처 대비 다세대 우위를 계속 확장하고 있습니다. H200 NVL8 대비 GB300 NVL72는 AgentX 워크로드에서 DeepSeek V4 Pro 1.6T 모델에 대해 메가와트당 AI 팩토리 처리량이 최대 15배 높으며, 동일한 전력 예산 내에서 훨씬 더 반응성 높은 에이전틱 추론을 지속합니다.
이러한 처리량 이점은 직접적으로 단위 경제(unit economics)로 이어집니다. GB300 NVL72는 H200 NVL8 대비 백만 토큰당 비용을 최대 10% 낮게 제공하므로, 운영자는 고정된 전력 및 인프라 예산 하에서 실질적으로 더 많은 상호작용형 에이전틱 용량을 지원하거나, 상당히 낮은 운영 비용으로 동등한 용량을 제공할 수 있습니다. 모델 규모가 커질수록 이 이점은 더욱 두드러집니다. Kimi K3 2.8T와 같은 대규모 MoE 모델의 경우, GB300 NVL72는 유사한 상호작용 수준에서 H200 NVL8 대비 메가와트당 처리량이 약 80배 높습니다. 또한 상호작용성의 한계를 사용자당 초당 약 215 토큰까지 확장하여, H200 NVL8이 도달한 운영 범위를 크게 상회합니다.
이러한 성능 향상은 서비스 런타임, 모델 커널(kernel), 스케일업 파이프라인(scale-up fabric) 전반에 걸친 포괄적인 시스템 레벨 최적화에서 비롯됩니다. 주요 촉진 요소로는 SGLang, TensorRT-LLM, vLLM과 같은 MoE 서비스 런타임; DeepGEMM 기반 커널; MXFP4 및 MXFP8과 같은 혼합 정밀도 형식; NVIDIA Dynamo 세션 인식 서비스 스택; 그리고 72개의 GPU를 연결하여 랙 스케일(rack-scale) 추론을 위해 조정된 고대역폭 NVIDIA NVLink 스케일업 파이프라인이 포함됩니다. 이러한 레이어들이 결합되어 에이전트 세션이 컨텍스트를 축적하고, 동시성이 확장되며, 디코드 수요가 심화될 때 대규모 MoE 모델이 반응성 있는 처리량을 지속할 수 있게 합니다.
Vera Rubin NVL72는 랙 스케일 시스템이 에이전틱 추론의 긴 컨텍스트, 상호작용성, 분산 실행 패턴에 명시적으로 최적화되었을 때 달성할 수 있는 것을 보여줍니다. 광범위한 Vera Rubin 플랫폼은 이 접근 방식을 전체 워크플로우로 확장합니다. Rubin GPU는 큰 컨텍스트를 처리하고 효율적으로 디코딩하며, Vera CPU는 도구 실행과 KV 캐시 오프로드를 담당합니다. Groq 3 LPX는 초고속 상호작용성을 가능하게 합니다. AI 팩토리 전반에 걸쳐 NVLink 6, ConnectX-9, BlueField-4, Spectrum-X는 리소스 간에 토큰, 컨텍스트, 도구 결과를 이동시킵니다. 소프트웨어 조정은 Dynamo, Attention-FFN Disaggregation, NVFP4, TensorRT-LLM WideEP, 그리고 예측 디코딩(speculative decoding)이 가장 적합한 프로세서에 실행을 분배함으로써 처리됩니다. 목표는 여전히 명확합니다: 재계산과 대기 시간을 줄이고, 에이전트 세션이 성장함에 따라 상호작용 성능을 유지하며, 고정된 전력 예산의 더 많은 부분을 유용한 에이전틱 출력으로 전환하는 것입니다.
이 분석은 Xin Li, Ankur Singh, Anthony Casagrande, Jonas Li, Po-Han Huang, Xiaoming Chen 및 기타 수많은 뛰어난 NVIDIA 엔지니어들의 전문성과 공학적 기여 덕분에 가능했습니다.