Epoch AI 研究显示 AI 推理成本在排除硬件效率提升后年均下降约 13 倍，达到前所未有的价格性能改善。

自2023年以来，在精选AI基准上达到固定性能水平的成本大幅下降。

追踪AI趋势的研究机构Epoch AI报告称，成本平均每季度下降约47%——大约每年下降13倍。该机构辩称，没有其他变革性技术下降速度如此之快。然而，这一数据反映的是达到固定基准分数的市场价格，而非纯粹的算法或架构进步，更不用说真实的生产力成本了。

分析可比数据的MIT研究人员观察到成本每年下降5倍到10倍。当他们排除更便宜的硬件和竞争性定价压力时，算法效率的实际提升大约为每年3倍。每项任务的峰值性能实际上可能变得更昂贵，因为较新的推理模型每个问题需要的计算量要大得多。

这两项研究回答的是不同的问题：与去年的顶级能力相匹配的成本要低得多，但运行今天最好的模型往往每次查询的成本明显更高。

Epoch以OpenAI的o3为例。在2025年初，o3在GPQA Diamond（一个博士级科学测试）上获得75%的分数，每个问题的成本估计为30美分。十八个月后，GPT-5.6系列模型以0.04美分的成本达到了相同的分数。Epoch称这是原始价格的1/725。如果汽车价格以这个速度下降，一辆价值50,000欧元的车将花费不到70欧元。OpenAI仅在几天前推出了成本更低的GPT-6 Sol和Luna模型，表明差距进一步扩大。

Epoch的分析基于五个基准，涵盖数学、科学和逻辑谜题。该组织承认这个样本的狭隘性，将其发现描述为"基于最佳可用数据的合理但粗略的测量"。

Hans Gundlach和他的MIT同事利用了比较平台Artificial Analysis的定价数据，涵盖2024年4月至2025年11月，并评估了比以前研究更多的模型。他们的数据低于Epoch的数据，部分原因是较新的推理模型部署了额外的测试时间计算来解决更难的问题，即使每token的价格下降，每个正确答案的成本也会上升。由于token是供应商收费的文本单位，仅进行每token比较会呈现不完整的情况。

当MIT分解价格下降的驱动因素时，更便宜的硬件占了一部分，竞争占了其余部分。通过单独检查开放模型，研究人员发现了纯算法效率的提升：大约每年3倍。Epoch的13倍数据更高，因为它没有排除硬件和竞争效应。

MIT还发现，一些性能改进仅来自分配更多的计算资源。在GPQA Diamond上超越其前身的新模型似乎代表进步，但作者估计改进的很大一部分来自每个问题中更大的计算资源。它得分更高，运行成本也更高。编码和数学基准显示了类似动态的较小版本。

并非所有基准的进展都反映真正的效率提升。新模型结合了更好的训练、更好的数据、更好的架构和更多的测试时间计算。单一分数融合了所有这些因素。还存在"基准优化"问题：AI公司可能会为众所周知的测试进行优化，夸大分数而没有实际好处。Epoch试图通过包含一个基于秘密游戏的测试"Mystery Game Puzzles"来防止这种情况。该测试的成本下降最慢，与基准优化理论一致，尽管该模式也可能反映任务格式或数据噪声。

仅价格不会决定选择哪个模型。在选择用于特定任务的模型时，广泛的成本平均数提供很少的指导。Artificial Analysis等平台在质量、价格、延迟、上下文窗口和输出速度方面对模型进行排名，最便宜的选项很少在所有维度上都表现出色。低成本但高延迟的模型对实时聊天机器人不切实际。强大的推理模型对于自动工作流可能太慢。如果成本更高的前沿模型成功率更高且消除了重试的需要，它仍然可以降低总体成本。这些都不会出现在简单的每token价格计算中。我们在《Frontier Radar #3》中详细探讨了这个token经济学问题。