OpenAI通过软件优化和定制算法将ChatGPT推理成本削减超50%。

OpenAI工程师本月开发了一项推理优化措施，根据《信息报》(The Information)的报道，这项措施将运行特定模型的成本降低了约一半。这一成果完全来自软件——具体而言，是现有GPU服务器资源利用效率的提升。没有新硬件。没有架构重组。只是对现有资源的更高效利用。

实际效果令人瞩目。应用于未登录的ChatGPT流量——来自普通用户的大流量、零认证查询——该优化措施将服务整个用户群所需的GPU数量减少到仅数百台。这相比之前在规模化处理中所需的数量级更大的计算资源，实现了戏剧性的压缩。

时机很关键。OpenAI同时通过与博通(Broadcom)合作的Jalapeño芯片项目追求定制硅芯片——这是降低推理成本的硬件路线。这项优化则是软件路线。这是对同一关键变量——规模化单位查询成本——的两个并行投资。软件首先交付这一成果，重塑了投资者和竞争对手应该如何评估盈利能力前景。

推理成本仍是OpenAI的主要可变支出。公司消耗计算资源的速度使得可持续的单位经济学显得遥不可及。GPT-4查询的成本是竞争对手收费的好几倍。然而，分析师在建模AI公司时普遍的假设是计算成本降低主要是硬件的故事。你等待英伟达(NVIDIA)推出更快的芯片，或者自己制造定制芯片，经济效益在下个采购周期改善。OpenAI的6月优化彻底打破了这个假设。

工程团队完成的工作更接近伟大的基础设施公司一直在做的事情：找出系统中的浪费。大规模推理中的GPU利用率极其低效——批处理策略、内存带宽限制、KV缓存管理、推测解码权衡。任何一个维度的有意义改进都会在OpenAI运营的规模上产生复合效应。在数十亿美元的支出上减少约50%的成本不是优化。这是业务模式的结构性重新定价。

未登录ChatGPT流量减少到数百台GPU这一数据点最具启发性。未登录流量是OpenAI服务的最高流量、最低变现的用户群——收入与查询比率最差的成本中心。将其压缩至之前计算足迹的一小部分，要么释放出这些GPU用于付费工作负载，要么减少资本支出需求，或两者兼有。这直接改善了该用户群的贡献利润，而这个用户群最可能拖累整体表现。

针对特定模型推理成本的约50%降低不是舍入误差——这是单位经济学的阶跃变化。如果OpenAI能将类似优化应用于其更广泛的模型库，每查询收入与每查询成本之间的差距比任何硬件路线图都能更快地缩小。实现可持续毛利率的路径刚刚缩短了，而且没有单一芯片被制造出来。

Anthropic、谷歌DeepMind和Meta AI都根据OpenAI已知的成本信号来基准测试其推理效率。如果这些信号刚刚通过软件机制——竞争对手可能已复制也可能未复制——下调了50%，定价方面的竞争护城河就会扩大。OpenAI可以选择扩大利润率或降低价格。两者都对那些假设成本趋同的竞争对手构成威胁。

OpenAI与Broadcom共同构建的定制ASIC一直是长周期投资——设计、流片、验证、部署。软件路线已率先交付成果。这不会杀死硬件战略；它验证了这一雄心。如果软件仅凭一己之力就能在商用GPU上将成本减半，针对OpenAI推理模式优化的专用芯片可能会进一步放大这些收益。硬件和软件路线现在是相加的，而非竞争的。软件收益成为定制硬件将进一步放大的基线。

OpenAI的软件优化直接改善了其在AI技术栈推理基础设施层中的地位——这是决定规模化成本服务的层级。这是赢得或损失利润率的地方。每一个不再需要租用或购买来服务给定流量的GPU，都是从芯片租赁市场蒸发的需求。从结构上讲，软件效率是对计算提供商的需求逆风。