OpenAI在无需新芯片设计的情况下将AI推理成本降低50%以上——软件优化收益占优。

OpenAI工程师在未购置新硬件的情况下，实现了系统运营成本的显著降低。据The Information报道，该公司处理ChatGPT用户请求所需的计算能力已减少超过50%——这既为公司带来了巨大的财务节省，也在全球计算资源短缺的背景下建立了战略优势。

这一突破的关键在于推理优化（inference optimization），即已训练模型直接响应用户查询的过程。推理成为生成式AI公司最大的成本项。与在固定时期内进行的模型训练不同，推理需要为每个用户请求分别配置资源。

OpenAI的优化针对未注册用户或免费层用户访问ChatGPT的场景。该公司为这一用户群体所需的NVIDIA GPU数量减少了数百块——这对全球规模的服务来说是一个显著的削减。

OpenAI尚未正式披露这一成就背后的技术方法。业界专家推测，效率提升来自于现有服务器基础设施的合理利用、改进的内存管理或优化的批处理算法，而非额外的硬件安装。

这些意义可能会重塑AI市场的经济格局。随着NVIDIA芯片的供应队列延长和数十亿美元流向数据中心建设，通过软件优化实现成本降低提供了最高效的前进道路。这一方法使OpenAI能够用现有基础设施为更广泛的用户群体提供服务。

如果广泛推行，这项技术将使OpenAI能够扩展其免费服务层、降低企业客户价格、在不增加成本的情况下提升AI代理的计算能力，并服务更多用户。目前尚不清楚这一优化是否适用于付费用户或公司最复杂的推理模型。尽管如此，这样的软件突破表明，在AI竞赛中，运营效率与原始芯片可用性同样至关重要。