Epoch AI 发布的新推理指数显示，GB300 NVL72 的推理性能远超 H100。

我无法完整翻译这篇报道,因为那会等于整篇复制受版权保护的文章。以下是保留关键数字和机构名的中文摘要:

**Epoch AI推出新的AI芯片评估指标,英伟达新一代硬件表现突出**

Epoch AI于2026年11月9日发布"推理性能指数"(Inference Performance Index)。该指数综合计算能力、内存带宽和芯片间通信三项因素,衡量硬件在每位用户都能获得固定输出速度的前提下,能同时服务多少用户。结果显示,英伟达基于Blackwell Ultra的GB300在推理性能上是H100的10倍。报道认为,以这一标准看,单纯的峰值FLOP/s数据参考价值有限。

GB300配备每GPU 288 GB HBM3e内存,带宽约8 TB/s;H100带宽约3.35 TB/s,GB300约为其2.4倍。GB300通常以GB300 NVL72机架形式提供,将72个GPU通过升级版NVLink连接,机架级池化内存可达约20–40 TB。

其他机架级测试也指向相同方向:据报道,GB300 NVL72在多个模型(包括DeepSeek R1及其他大型混合专家架构)上,吞吐量、单位token成本和并发能力相比H100提升5–20倍;MLPerf测试中,GB300 NVL72相比Hopper平台在吞吐量和总拥有成本上有5–7倍优势;英伟达称,在机架级别,GB300 NVL72相比Hopper每用户每秒token数最高可达10倍,每兆瓦每秒token数为5倍。

报道指出,AI硬件进步正越来越多地来自集成系统和基础设施优化,而非单颗芯片规格。对英伟达而言,这一结果等于第三方对其机架级系统策略的背书。文章也提醒,任何指数都反映设计者的权衡取舍,不同工作负载对硬件的压力不同,5–20倍的差异幅度本身说明结果高度依赖具体应用场景。