Vera Rubin NVL72 架构在代理型推理工作负载中实现比竞争加速器高 67 倍的性能/价格比。

Rubin 代表了为代理时代（agentic era）跨六种集成产品共同设计的第一个平台：Rubin GPU、Vera CPU、NVLink 6 Switch、ConnectX-9、BlueField-4 和 Spectrum-6。今天，我们发布了 Rubin 的首批经验证的代理推理结果，这些数据基于我们专有的基准测试 AgentX 进行测量。即使在早期的预发布软件上，这些结果也展示了为何如此广泛的协同设计是至关重要的。

在 GTC 2026 大会上，黄仁勋（Jensen Huang）展示的数据显示，与 Blackwell 相比，Vera Rubin NVL72 在参数规模从 O(1–3万亿) 且吞吐量约为每秒 200 个令牌（TPS）的模型上，实现了每兆瓦性能提升 3 倍。然而，在预发布软件上对 Rubin 进行的实际测试显示，其每兆瓦的令牌吞吐量提高了多达 7 倍。黄仁勋在 GTC 上倾向于低估性能主张的做法仍在继续；在 GTC 2024 期间，他声称 GB200 NVL72 将提供 Hopper 性能的 30 倍，但我们独立的测试记录显示其性能提升了 98 倍。

我们的性能估算表明，即使在早期软件版本上，Rubin 每吉瓦产生的利润也比 Blackwell 平台高出 2 倍以上。随着 Rubin 软件栈、内核库和开发者技能的成熟，我们预计这种盈利能力差距将继续扩大。

我们使用行业标准的代理推理基准场景 AgentX 来评估性能。AgentX 在我们的数千片芯片集群中重放真实的代理流量，使推理提供商和超大规模 AI 实验室能够在确定哪些加速器在特定场景中表现最佳时，全面参考这些结果。该基准已被几乎所有主要计算买家广泛复现、验证或认可，包括 Google Cloud、Microsoft Azure、Oracle 和 Meta。它还得到了更广泛的机器学习社区的支持——如 vLLM、LMCache、SGLang、PyTorch 和 Hugging Face——以及领先的 AI 实验室，包括 OpenAI、MiniMax、ZAI、Qwen 和 Moonshot AI。

我们要感谢黄仁勋、Ian Buck、Nick Comly、Kedar Potdar、Rohit Nagraj 以及中国大陆 TensorRT-LLM 团队，他们在启动下一代 Rubin 软件和验证我们的代理基准结果方面提供的帮助。如果您认为这个开源基准和数据有用，请给 InferenceX GitHub 仓库点赞。InferenceX 是目前唯一支持 TPUv7、NVIDIA 和 AMD 的推理基准，SambaNova 和 AWS Trainium 也将很快加入。鉴于 AgentX 场景与现实世界代理推理工作负载的高度相似性，AMD 已承诺在 MI455X UALoE72 架构方面进行合作。

总体而言，代理工作负载由四个关键特征定义：

• 多轮会话：与传统聊天机器人不同，这些会话涉及数十或数百次用户与助手的交互，结合了长上下文和高预填充复用率，以及子代理突发和频繁的调用工具操作。

• 长上下文累积：系统提示、工具定义和大量轮次导致上下文窗口迅速扩展。

• 高前缀复用：由于对话通常线性推进——将第 n-1 轮的输出连接到第 n 轮——大多数上下文直接从 KV 缓存中提供服务，而不是重新计算，这取决于用于 KV 张量的可用存储空间。随着轮次的增加，缓存输入与未缓存输入的比例趋近于 1。

• 子代理突发：会话经常启动多个具有新上下文的短生命周期子代理，产生高度突发的 KV 缓存访问模式。

有关方法论的详细分解，请参阅我们的 AgentX 文章。

总拥有成本（TCO）的性能是评估 AI 加速器的关键指标。在附带的图表中，Y 轴代表每 1 美元 TCO 生成的总令牌数，表示推理提供商每花费一美元计算资源可以生产多少令牌。这个数字是通过将所有服务成本（每芯片每小时的成本乘以部署的芯片数量）归一化场景吞吐量得出的。使用 SemiAnalysis AI Cloud TCO 模型，InferenceX 为每个 SKU 提供了多种 TCO 基线。默认场景包括：

• 以超大规模采购量持有：建模的每芯片小时成本涵盖硬件所有权和运营，包括服务器和网络资本支出在预期使用寿命内的摊销，加上托管、电力和资金成本。这反映了超大规模采购商的购买和融资条款，包括批量折扣和定制服务器配置。

• 租赁 – 3 年承诺：基于 SemiAnalysis 租赁价格调查的三年预留实例的每芯片小时市场价格。

用户可以在我们的计算器中调整计算成本以反映他们的实际费率。其他指标，包括按需租赁费率和短期承诺，可在 AI Cloud TCO 模型中找到，该模型源自我们对超过 100 家 GPU 客户、新兴云提供商和超大规模公司的月度调查。

Vera Rubin 在每美元性能方面相比 GB300 有显著提升。在 170 TPS 下，采用同等条件的 TRT-LLM NVFP4 密集配置，假设持有成本，Vera Rubin NVL72 的每 TCO 总吞吐量约为 GB300 Dynamo TRT-LLM 配置的 67 倍。在大多数提供商实际部署此模型的 60–100 TPS 范围内，Vera Rubin 的每 TCO 吞吐量比最新的 GB300 TRT-LLM 设置高出 1.4 到 3 倍。我们的测试机架使用了生产版 SKU，配备 2,300W TDP 和每个计算托盘 1.5TB 的 CPU LPDDR5X。（我们在单独的加速器和内存分析中讨论了 NVIDIA 将 Vera 内存容量减半的决定。）本报告侧重于 Rubin 的 TRT-LLM 性能，尽管未来的出版物将涵盖代理推理工作负载上的 vLLM 和 SGLang 基准测试。

Vera Rubin 的最大 P90 交互性比 GB300 Dynamo TRT-LLM 高出约 61%，达到 276.24 TPS，而后者为 171.53 TPS。值得注意的是，当使用开源 SGLang 堆栈时，GB300 可以达到与 Vera Rubin 相当的交互性水平。

我们承认，这些结果源于早期的预发布 TRT-LLM 软件构建，性能将继续提高，特别是在性能前沿的极端情况（超高吞吐量和超低延迟）下。推进性能前沿并跟踪迭代改进仍然是 InferenceX 的核心目标。此外，Vera Rubin 在较高吞吐量水平下表现出显著优越的 P90 端到端（E2E）延迟。虽然每秒令牌数（TPS）经常主导性能头条新闻，但诸如首令牌时间（TTFT）和 E2E 延迟等延迟指标同样关键，并在生产环境中代表了事实上的服务级别协议（SLA）标准。

即使考虑到三年的租赁成本——在 2026 年 7 月，Rubin 的每芯片小时租赁成本超过 8.50 美元，而 Blackwell Ultra NVL72 为 5.00 美元——这次升级在经济上仍然是合理的。在 80 TPS 的 P90 交互性目标下，对于相同的租赁 TCO，Vera Rubin 生成的总令牌多出 62%。在性能前沿的更高交互性部分，Rubin 每三年租赁 TCO 可生成多达 16 倍的令牌。

结论很直接：购买或租赁 Vera Rubin NVL72 非常有利可图，因为它产生的令牌成本远低于竞争对手的加速器，直接转化为更高的利润率。正如黄仁勋那句名言所说：“买得越多，赚得越多。”

与单节点 Blackwell 和 AMD MI355X 架构相比，整个运行曲线上的每 TCO 性能优势进一步扩大。在现实的 80 TPS P90 SLA 下，使用持有 TCO 模型，推理提供商每美元可以服务的令牌数是 B300 的 10 倍。这一优势也延伸至 P90 端到端延迟。在持有成本假设下，在每美元 TCO 吞吐量达到 6000 万令牌时，Vera Rubin 实现的 P90 E2E 延迟约为 20 秒，而运行最新 vLLM 服务堆栈的 B200/B300 系统则为 60 秒。在每美元 1.6 亿令牌时，延迟差距扩大六倍：Vera Rubin 为 20 秒，而竞争对手为 120 秒。

在代理工作负载上，Vera Rubin 使 H200 几乎过时，将其比作现代 AI 基础设施中的 TI-84 计算器。在 80 TPS 的 P90 交互性目标下，Rubin 每美元生成的令牌数是 18 倍。在 120 TPS 时，这一优势扩大到 39 倍。值得注意的是，对于离线批量推理和训练，Rubin 的相对优势不那么明显，而这仍然是主要研究实验室中遗留 Hopper 部署的主要迁移目标。