2026年11月17日星期二
AI 基础设施 · 新闻与分析
首页 › 芯片与硬件 › 报道
芯片与硬件 · 报道

Nvidia阐明AI工厂规模经济与推理工作负载效率和投资回报率之间的关键关联。

推理效率从优化细节升级为核心商业模式杠杆,重塑运营商证明加速器资本支出的方式。
行业媒体Slicast · 2026年10月1日 UTC 16:09 · 美国 · 来源: SiliconANGLE
重要度 52

人工智能工厂的经济学日益不仅取决于高性能图形处理器的访问权。随着智能体系统利用多个模型、数据库和工具,整个数据中心必须作为一个统一的计算系统运作。

这一转变正将注意力从单个芯片转向能将计算能力转化为有用智能的基础设施。根据英伟达公司超大规模与高性能计算副总裁兼总经理伊恩·巴克(Ian Buck)的说法,网络、存储、处理器和软件必须在规模上协同运作,同时提高从每单位功耗产生的输出。

"与其说是汽车、设备或个人电脑,不如说是tokens,"巴克说。"这些资产不是IT,也不是成本。它们实际上是在升值、产生收入、具有流动性、持久耐用、富有生产力的经济组成部分。"

AI工厂的商业产出来自推理,即已部署的模型处理请求并生成tokens。然而推理并不能取代训练,因为组织会随着数据和市场条件的变化不断更新已部署的模型。"这并不是对所有这些服务都一次部署就不管,"巴克解释道。"当公司使用这些模型时,他们在完善它们、调整它们、为它们添加更多数据。保持它们最新和有感知力——这实际上涉及一些训练。我们在强化学习和在线对齐方面看到了这样的工作。"

低延迟为那些更快推理具有更大价值的工作负载创造了另一个经济层级。英伟达的Groq 3 LPX推理加速器与其Vera Rubin平台配合,为对时间敏感的工作负载提升单用户token速率。"如果这些tokens中有最快速思考的价值,LPX可以在Vera Rubin之上进行增强以实现这一目标,"巴克说。"我们在金融科技和其他实时发生事情的领域看到了很大兴趣。"

功耗容量最终限制了数据中心可以部署多少计算基础设施。这一约束使每瓦tokens成为AI工厂经济学的核心衡量标准,并对供应商施加压力,要求他们在每个硬件代次中改进性能。"数据中心有一个自然上限,而这个上限实际上是它们的功耗,"巴克说。"在每一代GPU中,我们确保每瓦tokens的效率提高了10倍以上。实际上,我们在Blackwell上实现了这一点——最终我们在每瓦tokens上取得了30倍的改进。"

这一转变也改变了系统必须被设计和运营的规模。CoreWeave允许客户选择配置或使用优化吞吐量和token速度平衡的更高级推理服务。"CoreWeave可以为客户做到这一点,"巴克说。"他们不必被所有选择压得喘不过气。这正是我们的合作伙伴生态系统如此重要的地方。"

阅读原文
Nvidia阐明AI工厂规模经济与推理工作负载效率和投资回报率之间的关键关联。 · Slicast