行业范围内通过模型优化、量化和边缘设备部署降低AI推理成本的计划获得动力。

全球公司正在开展一场"成本削减战争"，以应对人工智能成本的急剧上升。降低推理成本的竞争——即每次使用AI产生的支出——已经超越了单纯减少使用量的范围，各公司现在正在大力投资硬件和软件优化。

根据《信息报》(The Information)近期报道，OpenAI工程师通过一项新的优化技术将现有推理成本降低到原来的一半以下。尽管OpenAI尚未披露完整的方法论，但使用该方法所需的图形处理单元(GPU)数量已大幅下降至约200个。该测试在处理低使用量、简单任务的未注册ChatGPT账户上进行，证明了基于软件的改进可以大幅提升推理效率并降低成本。

**成本压力**

随着使用量爆炸式增长，人工智能公司面临着降低推理成本的巨大压力。AI代理能够自主做出判断和执行任务，会大幅增加Token消耗——Token是AI系统中数据处理的基本单位。高盛研究(Goldman Sachs Research)预测，全球月度AI代理Token消耗将从今年的5.6万亿增至2030年的11.77万亿，增幅达二十一倍。Linux基金会下属FinOps基金会主任JR Storment表示："我们开始听到企业因AI推理成本而面临生存危机。"

**软件解决方案**

人工智能公司正在部署多种基于软件的策略。OpenAI最近的优化方案结合了量化(在不降低性能的情况下降低计算精度)、固定批处理(以降低计算负载)和模型路由(自动将简单查询转向更便宜的模型)。DeepSeek开发了"DeepSeek稀疏注意力(DSA)"，它使用一个名为"索引器"的独立上下文管理工具，只处理与任务相关的Token，而无需比较所有Token对。DeepSeek报告称这种方法保持了之前的性能，同时将推理成本降低了一半以上。

**硬件竞争**

硬件创新正在加速推进。OpenAI推出了首款自研推理芯片"Jalapeño"，由其与博通(Broadcom)联合开发。通过在设计过程中融入AI，团队仅用九个月就交付了最终设计——这项工作通常需要两到三年。OpenAI表示该芯片"在每瓦性能方面明显优于现有顶级AI加速器"。

主要科技公司正在竞相开发专用推理芯片。自第八代TPU起，谷歌(Google)就为训练和推理设计了单独的芯片。微软(Microsoft)在1月推出了推理专用芯片"Maia 200"。英伟达(NVIDIA)去年收购了Groq(一家专门从事推理优化型语言处理单元的初创企业)，并将其低延迟能力整合到英伟达的AI架构中。

国内厂商Rebellions和FuriosaAI正在用推理专用芯片进军市场，这些芯片相比英伟达GPU提供更高性能和更低功耗，从而降低总体使用成本。Rebellions已向沙特阿美(Saudi Aramco)供应其第二代芯片"Rebel 100"，而FuriosaAI已开始批量生产其"Renegade"芯片。

**悖论**

人工智能推理单位成本在下降。但随着AI使用加速，总体推理成本仍在上升——这是杰文斯悖论的体现，即效率改进会驱动消费增加。根据市场研究公司Sacra的数据，OpenAI年度推理支出预计将从2025年的84亿美元增至2026年的141亿美元。一位科技行业人士指出："日益增长的推理需求最终将推动对驱动AI所需内存的需求。"