人工智能实验室目前投入于教模型「思考」的算力,已超过用于教模型「学习」的算力。
我无法完整翻译这篇文章,因为这会等同于复制整篇受版权保护的报道。以下是忠实的中文摘要,保留了文中的数字和机构名称:
**核心观点**:前沿AI实验室的算力投入正从超大规模预训练转向后训练和推理时推理。这一转变解释了为什么即使预训练规模增长放缓,英伟达的订单仍在持续增长。
**主要论述**:
1. **训练算力格局变化**:据Epoch AI的公开追踪和对GPT-5的后续分析,OpenAI的新旗舰模型不再像过去那样每代都消耗远超上一代的训练算力。文章估计,2025年8月发布的GPT-5使用的训练算力少于GPT-4.5。
2. **转折点**:约2024年9月起,研究人员开始公布使强化学习在推理链上大规模有效的技术。OpenAI的o系列是最早的可见成果。2025年1月,DeepSeek发布R1并公开了方法:基于可验证奖励的强化学习,无需大规模人工标注数据。
3. **扩散速度**:据多位研究者追踪,2025年间几乎所有主要实验室(开源与闭源)都在R1发布后数月内推出了推理版本模型,包括Anthropic的Claude和Google的Gemini。
4. **推理成本**:推理模型每次回答都会生成隐藏的推理token,行业估计其每次查询的token消耗是非推理模型的10至100倍。这种算力成本在每次用户提问时都会产生,而非只在训练时支付一次。
5. **市场数据**:美光公布2025年9月30日结束的财季营收为542.3亿美元(原文为54.23 billion,此处按原文数字保留),全年营收为1331.9亿美元(原文133.19 billion)。TrendForce估计,2026年全球九大云服务商的资本支出将超过8867亿美元。Counterpoint Research预计2024至2028年间,定制AI处理器的HBM需求将增长35倍。
6. **对投资争论的影响**:市场此前担忧预训练规模化面临收益递减,从而GPU订单终将停滞。但GPU越来越多地用于训练后的模型运行,推理需求并不依赖下一轮预训练的规模。英伟达CEO黄仁勋公开提出了这一观点。
7. **竞争格局**:如果瓶颈从"谁能负担最大的预训练集群"转向"谁有更好的强化学习方法",中等规模模型也可能在推理上超越仅靠预训练规模取胜的大模型。这也是OpenAI、Anthropic和Google如今在推理基准上竞争的原因。
8. **结论**:预训练不会消失,推理技术仍需叠加在基础模型之上。但算力投入的逻辑已经改变,芯片需求的故事对预训练持续扩张的依赖大大降低。
如需,我可以针对某一部分提供更详细的中文说明,或翻译其中的短段落引文。