NVIDIA Vera Rubin NVL72每兆瓦吞吐量提升30倍每token成本降低35倍

NVIDIA发布了其Vera Rubin NVL72系统在代理AI工作负载上的性能基准,使用SemiAnalysis AgentX工作负载测量真实世界代理编码会话。代理AI与聊天的根本区别在于,代理在多个步骤中积累上下文,可达到数十万个输入令牌,它们在查询数据库、搜索信息源、调用子代理并综合结果的过程中会产生这些令牌。这一模式在从软件开发到客户服务再到深度研究的各种应用场景中都会出现。

测量结果表明,Vera Rubin NVL72在代理工作负载上的每兆瓦吞吐量比GB300 NVL72高出最高30倍,每百万令牌的成本低出最高35倍。对于功率受限的AI工厂而言,这意味着在相同能耗下可执行30倍更多的代理工作,而利润率则由每百万令牌的成本决定。该公司还指出,GB300 NVL72本身在DeepSeek V4 Pro等模型上的每兆瓦吞吐量相比更旧的Hopper架构提升最高15倍。

NVIDIA通过其所谓的跨平台层全栈极端协同设计实现了这些性能提升。这包括将上下文处理与响应生成分离的解聚式服务、同步prefill和decode GPU速度的速率匹配、针对混合专家模型的大规模专家并行处理、跨GPU域的分布式KV缓存、将请求路由到持有相关缓存上下文的GPU的KV感知路由,以及将多个操作融合为单次执行的CUDA内核(如MegaMoE)。Vera Rubin GPU采用增强型第五代Tensor Core、第三代Transformer Engine以及能将模型权重压缩至4位精度的NVFP4量化。NVL72扩展域由第六代NVLink技术连接,相比以太网替代方案提供10倍更高的数据包速率和3倍更低的延迟。

Vera Rubin是一个七芯片架构,还包含Vera CPU、Groq 3 LPU、NVLink 6 Switch、BlueField-4 DPU、Spectrum-6 SPX和ConnectX-9 SuperNIC。该公司表示,Vera Rubin正在全面生产,并在整个生态系统中扩展。