电力与能源 · 报道
Liftr Insights数据显示运行英伟达AI实例的年度电力成本约为200万美元。
突出了电力作为大规模AI基础设施关键运营成本和扩展制约因素。
官方披露Slicast · 2024年8月20日 UTC 12:00 · 全球 · 来源: prnewswire.com
重要度 70Liftr Insights凭借独特数据驱动的市场情报而著称,该公司针对2,000张NVIDIA芯片进行了计算分析,以展示运行常见AI工作负载的持续成本。NVIDIA凭借其半导体产品在新闻和市场上占据主导地位,其最新型号(如Hopper H100)被认为对不断增长的AI培训和其他人工智能流程需求至关重要。Liftr数据表明,即使是较早的型号(如A100)仍然需求旺盛。
企业若投资3,300万美元购买AI加速器芯片,并每年支付200万美元的电力成本,就可以在德克萨斯州达拉斯运行1,000张H100和1,000张A100,这些芯片合计可生成超过44.7 FP64 petaflops的高性能。然而,相同的基础设施在不同地点会产生不同的运营成本。在休斯顿运行这一基础设施每年的电费约为210万美元,而在圣安东尼奥或奥斯汀的年度成本则更低,分别为190万美元和160万美元。
"尽管Blackwell流程延期的消息传出,"Liftr Insights首席执行官Tab Schadt表示,"AWS、Azure和GCP等主要云服务提供商一直在增加对最新NVIDIA半导体的采用。"追踪前6家云服务提供商和3家新兴提供商的Liftr Insights数据显示,Hopper品牌的采用率在增长,其中H100是Hopper系列中讨论最广泛的型号。
除了展示常见配置以及主要消费者的采用趋势外,Liftr数据还能为数据中心运营商提供更深层的洞察。"我们帮助客户理解这些新芯片对性能和财务状况的影响,"Schadt表示。"在考虑新AI时,不仅要知道有哪些可用产品。更重要的是,对于特定配置,需要理解性能、功耗,以及最终的持续成本底线。"