从兆瓦到Token：NVIDIA如何最大化AI工厂产出

在加州硅谷的一个炎热的8月傍晚，当太阳下山、空调负荷激增时，硅谷电力公司向一家AI工厂发送了调整电力消耗的信号。

瓦伦·西瓦拉姆通过Zoom与大约40人一起观看——他在Emerald AI（翡翠AI）的团队在旧金山的会议室、数据中心的工程师和来自电力公司本身的人员。没有人接触任何东西。

Emerald AI的Conductor平台——来自NVIDIA合作伙伴Emerald AI的电网编排平台，也是NVIDIA DSX Flex设计用来提供的灵活性的早期范例——接收关于电网条件的信号，并调整数据中心的灵活计算工作负载。可以等待的工作被减速或重新安排，而高优先级服务继续运行。

目标是在电网受限时减少电力需求，而不中断关键的AI工作负载——正是硅谷电力公司需要的。

当屏幕上显示减少时，每个人都欢呼。

"我们屏息以待地观看，"西瓦拉姆说。"这是我们首次在数千个NVIDIA GPU上部署。"他的产品主管曼西·沙阿很激动。"这感觉有点像SpaceX火箭发射，"她说。

硅谷电力公司此后向该AI工厂发送了超过200个需求信号。每次都奏效。

旧金山的Emerald AI团队观察硅谷电力公司的需求信号到达工厂车间——功率从4兆瓦自动下降到3兆瓦，同时所有高优先级工作继续运行。

这是生产中的电网灵活性。它指向的东西远大于圣克拉拉的一个设施：一条解锁美国AI工厂所需电力的路径，而无需等待十年建设新输电线路。

在周二的AI基础设施峰会上，NVIDIA超大规模和高性能计算副总裁伊恩·巴克将AI工厂效率作为其基础设施主题演讲的中心。

云提供商Lambda在部署环境中的首次验证结果同日发布，给出了数字：在智能管理下，固定电力预算可以支持24%更高的令牌吞吐量。

"通过我们的概念验证，我们相信我们已经超越了固定电力预算的限制，"Lambda云服务总裁戴夫·沃德说。"NVIDIA DSX MaxLPS为回收搁浅容量并将其转化为实际使用铺平了道路，在相同占地面积内具有明显更高的计算密度。"

那个8月傍晚，当SVP调用时，Conductor按照预定义的工作负载层次结构执行：最低优先级工作被搁置，高优先级推断继续运行，功率从4兆瓦下降到3兆瓦。自动化。不需要操作员。

在AI工厂经济中，电力是约束。每吉瓦的工作量是指标。数据中心运营商对效率非常严格——每投入工作的瓦特都是传递生产计算的瓦特，该行业在堆栈的每一层都取得了显著收益，从设施设计到机架级电源转换。

DSX将这一原则扩展到AI工作负载本身。更智能的机架配置将电力放在工作负载实际需要的地方。操作智能——更紧密的调度、更快的重启、更精简的检查点——使GPU继续运行而不是等待。目标与运营商一直追求的目标相同：从你拥有的电力中做更多工作。

"一座1吉瓦的工厂永远不会成为2吉瓦的工厂，"NVIDIA创始人兼首席执行官黄仁勋曾说过。

当系统达到物理极限时，工程师们达到的答案总是一样的：停止优化部分，开始设计整体。

在5月的GTC台北推出，NVIDIA DSX是AI工厂的答案——早期部署已经在证明这一点。

完整平台涵盖网络、冷却、水效率和设施设计；以下部分重点关注迄今为止电力管理和电网参与的一些结果。

更多计算，相同预算：DSX MaxLPS

Lambda在AI基础设施峰会上发布的结果是DSX MaxLPS在NVIDIA HGX B200 GPU服务器上的首次验证。

DSX MaxLPS监视GPU和机架级电力消耗，并根据工作负载类型在节点之间重新分配裕度，恢复静态配置会留下的搁浅容量。训练和推断的电力消耗不同；MaxLPS在同时运行两者的AI工厂中优化分配。

Lambda是一家GPU云提供商，为超过10,000个客户提供服务，从AI原生初创公司到超大规模企业，在5个机架、19个节点的集群上运行该软件。

他们发现的是：通过在与16个节点满功率相同的电力预算内运行19个节点，Lambda实现了24%更高的集群范围令牌吞吐量——从大约每秒400万令牌增加到500万。每瓦性能提高了23%。

根据NVIDIA的预测，在合适的部署环境中，DSX MaxLPS可以为下一代Vera Rubin NVL72 AI工厂在相同的兆瓦电力预算内提供多达40%更多的GPU容量。

自动化需求响应，在生产中验证

圣克拉拉的故事不是DSX Flex安装——它是更早且更重要的东西：概念在商业规模上有效的证明。

NVIDIA的Eos AI工厂正在运行Emerald AI Conductor，作为硅谷电力公司灵活负载互联计划的参与者，这是首个设计将AI工厂作为可调度资源的商业电网公用事业计划。

当硅谷电力公司发送信号时，Conductor在一分钟内响应。愿意灵活调整的工厂可以运行更大规模。