AI基础设施峰会:NVIDIA Vera Rubin和DSX平台进展展示AI工厂每瓦特令牌优化能效

NVIDIA超级规模和高性能计算副总裁Ian Buck周二在Santa Clara会议中心举办的AI Infra Summit上就AI工厂效率发表讲话,该活动已演变成基础设施技术领域的科切拉音乐节。

在挤满的观众面前——今年有8,000多名参与者,较去年的3,500人增加——Buck讨论了NVIDIA平台间的新合作等内容。

Amazon(亚马逊)的Annapurna Labs正与NVIDIA在NVHBM定制高带宽内存技术上进行合作。

d-Matrix正与NVLink Fusion集成,将NVIDIA Vera CPU与d-Matrix Raptor XPU相结合,以大规模交付超低延迟推理。

NVIDIA及其合作伙伴也公布了新的结果:

Emerald AI和NVIDIA展示了商业AI工厂灵活负荷计划,与Silicon Valley Power合作。

Lambda通过NVIDIA DSX MaxLPS将每瓦特性能提高了23%。

Pinterest正在使用NVIDIA Blackwell平台和NVIDIA Dynamo推理软件将对话AI应用于视觉发现。

这则消息发布之际,智能体AI正在推动一类新的工作负载,这类工作负载对AI基础设施的性能、效率和规模提出了更高要求。

NVIDIA通过一个涵盖Vera Rubin系统、Dynamo推理软件、NeMo库和NVIDIA网络的全栈AI工厂平台来应对这一挑战——包括用于规模扩展计算的NVIDIA NVLink、用于连接数千个节点的Spectrum-X以太网和ConnectX SuperNIC、由BlueField驱动的上下文内存存储以及用于基础设施安全的BlueField DPU。

"基础设施必须是可互换的、可靠的,能够持久使用10年,真正成为解决世界各行业计算问题的计算资产——他们可以用Vera Rubin、DSX和我们这里拥有的所有创新来构建这样的基础设施,"Buck说。

AI基础设施的衡量指标正在从峰值性能快速转向每兆瓦的已验证智能体令牌。AI工厂现在必须从硅芯片到电网进行协同设计。NVIDIA DSX MaxLPS可以通过工厂范围内的功率优化在每兆瓦的基础上交付最多1.4倍更多的令牌,而NVLink帮助将大规模加速计算统一到单个高性能系统中。

结果是设计用来生成更多令牌、提高效率并帮助客户从每兆瓦的功率中获得更多价值的AI基础设施。

周三,9月16日,太平洋时间上午8:00

MLPerf推理v6.1:NVIDIA Vera Rubin NVL72为AI吞吐量创造新基准

AI推理经济学越来越多地归结为三个因素:系统性能、基础设施扩展和软件优化。这三个因素共同决定了可以生成多少令牌、AI服务扩展的效率如何以及组织从基础设施投资中获得多少价值。

NVIDIA平台旨在在这三个方面都进行优化,同时为企业提供在同一基础设施上运行任何模型和工作负载的灵活性,从训练和推理到推荐系统、推理模型和生成式AI。

MLPerf推理v6.1的新结果——MLCommons联盟的长期行业基准,涵盖广泛的模型,每项结果在发布前都经过同行评审——突出了这一优势。在其首次MLPerf推理预览提交中,NVIDIA Vera Rubin NVL72系统的吞吐量比NVIDIA GB300 NVL72高达3.7倍,展示了NVIDIA下一代AI基础设施可能带来的性能提升。

NVIDIA GB300 NVL72也展示了业界领先的可扩展性。一个跨越四个GB300 NVL72机架的288-GPU提交达到了99%的扩展效率,吞吐量从单个机架基线几乎呈线性增长。

这些结果也强调了软件创新的影响。NVIDIA的MLPerf推理v6.1提交仅通过软件优化就比v6.0提高了1.6倍的性能,在基准提交期后还获得了额外的收益。

对于正在评估AI基础设施的组织,性能、扩展效率和软件速度仍然是长期推理经济学的关键驱动因素。

了解更多关于NVIDIA Vera Rubin NVL72基准结果的信息。

周二,9月15日,太平洋时间上午9:55

AI工厂灵活负荷计划解锁更多电网功率

Silicon Valley Power(硅谷电力)运营一个灵活负荷互联计划,使AI工厂能够支持电网灵活性。

通过该计划,Emerald AI与NVIDIA合作演示了Silicon Valley Power的自动负荷降低。该系统成功响应了来自Silicon Valley Power的数百个需求信号,同时保护了AI工作负载性能。

NVIDIA合作伙伴Emerald AI计划为其Conductor电网响应型电源管理软件使用NVIDIA DSX Flex,该软件根据实时电网信号和混合能源动态调整AI工厂的能源消耗。

使用DSX Flex进行自主负荷均衡,Emerald AI可以展示其自动降低低优先级AI工作的功率然后恢复正常的能力。

DSX Flex可以接收电网信号——负荷脱落请求、需求响应事件和定价信号——并在预定义的工作负荷层次内自动采取行动。最关键的工作继续进行,而其他一切则暂时暂停然后恢复。通过这种方式,设施可以参与电网能效。

这种能力使AI工厂能够作为灵活的电网资源运营,因此它们可以在电网需要缓解时减少需求,保护优先级AI工作负载,并证明可控制的AI负荷可以帮助为增长解锁更多电网容量。

了解更多关于Emerald AI与Silicon Valley Power合作的信息。

周二,9月15日,太平洋时间上午9:55

Lambda通过NVIDIA DSX MaxLPS最大化每瓦特性能