尽管推理令牌成本下降了1000倍，但由于应用量增长，AI基础设施总拥有成本反而上升；分析涉及Groq、Cerebras和SambaNova的推理架构。

在你组织的某个角落，一定有一张幻灯片声称“代理式客户体验（Agentic Customer Experience）即将变得廉价”。我敢打赌确实如此。那张幻灯片展示了一条呈下降趋势的曲线，引用了代币价格的崩盘，并且没有对这一崩盘撒谎。代币价格确实出现了断崖式下跌。

然而，这张幻灯片是错误的。为什么？因为你购买的不是代币，而是工作流（Workflows）。工作流消耗代币的速度已经超过了代币降价的速度。这就是Gartner所描述的“推理悖论”：单位价格下降，但账单攀升，且这两个数字都不是错误。

价格的崩盘发生在其他领域。让我们从供应商做对的部分开始看起。根据a16z、Epoch AI和斯坦福大学AI指数编译的推理成本数据，GPT-3等效质量在2021年底约为每百万代币60美元，到2024年底降至约0.06美元——降幅达千倍。性价比以每年50倍的中位数速度提升，自2024年初以来加速至每年近200倍。高盛报告称，半导体供应商正实现代币成本每年降低60%至70%。没有人质疑这一趋势的方向。

现在来看看前沿模型当前的定价。Anthropic发布的价目表（截至2026年8月27日）显示，Claude Opus 5的输入代币价格为每百万5美元，输出代币价格为每百万25美元，其最大规模模型的定价分别为10美元和50美元。当更便宜的替代方案失效时，你的代理式工作流就会升级调用这些模型，而这些模型的价格范围与GPT-3最初发布时的定价相当。崩盘是真实的，但它发生在商品级市场。去年智能的价格跌穿了地板，而今年的智能价格并没有。代理式架构正是专为利用今年的模型而设计的。

代币通胀是可衡量的，而非臆测。研究终于追上了账单，而且数字比大多数买家预期的更为陡峭。Fu及其同事在其论文《并非所有代币都平等》（*Not All Tokens Are Equal*）中创造了“代币通胀”一词，用以描述宣传的单代币价格与工作流因重试错误输出而产生的实际消耗之间的差距。他们测得的多跳问答任务的通胀率高达4.25倍，并证明FrugalGPT（一种标准的成本感知路由器）在复杂任务上低估了真实支出超过2倍。这种机制推高了成本，却未被供应商定价：失败的推理链不仅仅是一次浪费的调用；它是一次完整的重新提交，包含对话历史，并被路由到更昂贵的模型。

基础设施的影响甚至更为严重。Kim及其同事在《动态推理的成本》（*The Cost of Dynamic Reasoning*）中量化了代理对服务堆栈造成的压力。工具增强型代理生成的模型调用次数约为思维链基线的9.2倍。树搜索代理平均每次请求需要71次调用。随着交互历史的积累，输入序列长度拉伸了三到四倍。每次请求的GPU内存使用量增加三倍至五倍，导致GPU在等待工具响应时有54.5%的时间处于空闲状态。每次查询的能源消耗相比单轮推理激增62至137倍。Gartner引用的代理式查询5倍至30倍的乘数，起初可能看似分析师的谨慎措辞，实际上代表了该范围的保守下限。

这一悖论可浓缩为四句话：每代币的价格下降了三个数量级。每个有用结果消耗的代币增加了十倍至百倍。使用量飙升。将这些因素复合起来，你就得到了实际的账单。

你还在为降低答案质量的代币付费。有一项未列入预算的项目应让任何客户体验（CX）买家驻足深思。Zhou及其同事在《当过度思考造成伤害时》（*When More Thinking Hurts*）中考察了过度推理支出的后果。在他们的测试集中，边际效用从2,000–4,000代币区间内每500代币+1.8%降至8,000–12,000代币区间的+0.1%，此后转为负值。在大约7,000代币之后，模型修正错误答案的成功率低于其误修正先前准确答案的次数。他们的320亿参数模型在12,000代币时准确率峰值为55.8%，随后在16,000代币时降至54.9%。对于较简单的问题，大约在1,500代币时就开始因过度思考而受损。

请带着正在计费的电表再读一遍这段话。每个推理预算都有一个阈值，超过该阈值后，你将支付更多费用却得到更差的答案，而这个阈值在你服务量主体的简单工单上出现得最早。关于高效代理的研究从另一个角度得出了相同的结论：最佳N测试时扩展（best-of-N test-time scaling）以不成比例的成本购买微小的准确性提升。更精简的架构在解决每个问题花费0.228美元的情况下保留了96.7%的准确率，而资源密集型系统则需要0.398美元。额外的计算能力不是一种策略；它仅仅是一个默认设置。

CX电表隐藏了乘数。如果你的合同透明地转嫁成本，那么上述情况并不重要。不幸的是，事实并非如此。CX Today的买家指南列出了六种活跃的定价模式：按席位捆绑代币、按渠道、按组件、积分制、按动作和按解决。Genesys每位用户每月收费75至240美元。Amazon Connect按语音每分钟0.038美元和聊天消息每条0.010美元计费。Salesforce在推出Agentforce时按每次对话2美元定价，但在单位经济状况不再匹配工作量后重新定价，目前Flex Credits售价为每100,000个500美元——即每次动作约十美分。Zendesk的定价页面运作方式不同。它清晰地概述了一种基于结果的模型，你只为无需人工升级的请求付费，但它并未公布公开费率。听起来最有利于买家的客户服务定价模式的核心指标，仍锁定在销售通话和严格谈判之后。每种模式都在不同的位置掩盖了成本乘数；没有任何一种是以CX领导者真正控制的指标来计价的。按消息定价看似经济，直到代理触发重复联系，导致单次失败被双重计费。按解决定价看似一致，直到你意识到它在财务上激励供应商避免升级。按动作定价迫使你在预测单个季度之前对整个工作流进行建模。

这并不是反对支出的论点。更低的单价必然导致更高的消耗。这是杰文斯悖论（Jevons Paradox）。它在煤炭、钢铁和带宽身上发生过，通常标志着一种提供真正价值的技术。高盛预测，从现在到2030年，代币消耗量将增长24倍，达到每月120千万亿（quadrillion）代币。在2029年在推理上的支出多于今天，本质上并不是管理不善。故障模式要狭窄得多。问题不在于总支出，而在于无法归因的支出。陷入困境的组织并非那些拥有庞大推理账单的公司，而是那些无法将特定费用追踪到具体工作流、代理或已解决工单的公司——换句话说，无法将支出与可衡量的结果挂钩。

通过五项措施准备你的组织，按回报速度优先排序。第一，在扩展前进行仪器化部署。从初始试点阶段开始，部署按代理和按工作流的代币遥测数据及警报阈值。某医疗部署因未检测到的检索故障，在六周内月度成本从12,000美元激增至68,000美元。无法归因的成本是你无法辩护或预防的成本。第二，限制循环。建立严格的重试上限，并在达到限制时强制人工升级，同时实施新的升级政策，丢弃失败的链而不是转发它们。Fu及其同事发现，将失败的推理传递给更强的模型会使准确率下降多达34.8个百分点。不受控制的 retries 是支出失控的主要驱动因素；你支付高价却产生更差的答案。第三，为思考设定预算。设定每项任务的推理限制，而不是让模型无限制运行，并根据任务难度分配计算资源，而不是均匀分配。Zhai及其同事仅通过改变每个实例的计算分配，就在相同预算内使MATH基准测试的准确率提高了多达12.8%。超过交叉点后，你是在以全价购买性能退化。第四，获取工程折扣。缓存读取的成本约为标准输入的十分之一，并能迅速收回投资。将简单任务路由到较小的模型：仅通过路由纪律，一个团队就将月度支出从40,000美元减少到24,000美元。压缩上下文，动态检索，并停止在每次调用中传输每个工具模式。第五，将电表嵌入合同。获得书面定义的计费单元，明确包括缓存代币、工具执行、失败调用和重试——而不仅仅是输入和输出——并获得审计权，以便将内部遥测数据与供应商发票进行核对。在任何重新定价或消费模式重组之前要求提前通知：虽然当前条款指南建议120天，但我建议对于一个可能在年中发生变化的电表，应给予六个月的通知期。最后，针对商定的结果而非原始用量来衡量每千代币的价值。实施这些实践的组织报告称，在保持同等产出的同时，将支出减少了60%至70%。

代币将继续变得更便宜。然而，账单却遵循着不同的轨迹。