Google推出Frozen v2定制推理芯片,效率较前代提升10倍。
这是分析文章,而非突发新闻。原始版本的Frozen v2报告发布于7月20日星期一,相关后续报道出现在7月21日。对投资者而言,问题已不再是为什么Alphabet股价在报告后上涨,而是如果Google能在2028年时每单位功率产生六到十倍的令牌数,AI加速器需求曲线会发生什么。
据报道,Google正在开发Frozen v2,这是一款专为Gemini推理构建的服务器芯片。与张量处理单元不同——后者保留足够的灵活性来运行不同模型并在运行时进行执行决策——Frozen v2会将Gemini架构的部分内容直接嵌入硅中。据称早期Frozen设计会将Gemini的模型权重固定在硬件中,这样每当权重改变时芯片就会过时。Frozen v2则会保持权重可更新,同时固定架构决策,允许更新版本的Gemini在其基本设计保持兼容的情况下运行。
预期收益来自消除不必要的计算并减少内存和计算之间的数据移动。代价是灵活性。通用加速器可以随着软件变化而适应,而Gemini专用处理器一旦Google大幅重新设计该模型就会变得不那么有用。
从事Frozen v2工作的工程师据报预计,相比Google最新的TPU,该芯片每单位功率可处理六到十倍的令牌,部署目标最早为2028年。Google把这款芯片部分看作一个实验而非会在与通用TPU相同规模上制造的产品。这个衡量标准很重要:每瓦功率六到十倍的令牌数不等于峰值计算性能提高十倍,也不会让AI服务器便宜90%。内存、先进封装、网络、冷却、软件和数据中心建设仍会很昂贵。利用率也将决定有多少技术改进转化为财务收益。
Alphabet报告称,在第二季度Gemini模型每分钟处理220亿个API令牌。公司还将2026年资本支出预测提升至195亿到205亿美元之间,并预计2027年支出还会再次增加,因为客户需求持续超过可用容量。因此Frozen v2不会使当前AI支出周期失效。针对2028年的处理器无法替代2026年安装的加速器或2027年已承诺的容量。它反而改变了关于Google在这些投资上线后可能需要多少硬件的长期假设。
Frozen v2不是对加速器需求的直接威胁。风险在于投资者以这样的假设评估AI供应商:2027年之后,令牌增长将继续要求芯片、服务器和电力的大致相当增长。如果未来处理器能够提供十倍的令牌每瓦性能,Google可能需要明显更少的加速器、机架和电力连接来服务固定的推理需求。
令牌消耗需要上升约六到十倍来抵消报告中功率方面的改进。这不是精确的替代比例,因为芯片性能、系统成本和利用率也起作用,但它为投资者评估未来需求提供了有用的门槛。看涨观点援引杰文斯悖论:更便宜的推理可以降低订阅和API价格、支持更长的上下文窗口、让自主代理连续运行并使低价值查询变得经济可行。令牌成本的大幅下降可能产生超过十倍的消费增长。
这些结果并不是互斥的。AI使用量可能快速扩展,同时商用加速器需求仍可能低于当前预测。核心问题不仅是用户消费多少令牌,还包括谁供应这些令牌以及每个令牌需要多少硅、内存和电力。
对Nvidia和AMD的直接影响有限。Frozen v2仍未确认、据报为实验性质且仅针对一个模型族。GPU在训练、快速变化的工作负载以及缺乏规模来证明自有芯片计划的客户中保持优势。长期风险集中在超大规模推理中。Google、Amazon、Microsoft和Meta处理足够多的AI工作负载,可以将半导体开发成本分摊到巨大的销量上。一旦模型架构变得稳定,用灵活性换取更低的运营成本就变得更有吸引力。
硬件组合可能会逐步从通用GPU转向内部设计的处理器和用于训练、预填充和解码的独立芯片。定制硅设计师和制造合作伙伴即使每个令牌所需的Nvidia或AMD设备数量下降,也可能获益。对服务器、高带宽内存、网络、冷却和电源供应商的影响不那么直接。专业化降低了每个查询所需的资源,但更便宜的推理价格可能产生远多的查询。供应商仍可能增长,尽管可能比当前AI资本支出预测暗示的速率更慢。
Google未确认Frozen v2、其规格或2028年时间表。公司也未否认该项目,表示并非每个实验都能进入生产阶段,芯片探索是其全栈方法的一部分。Alphabet已确认的是成本问题的规模。第二季度资本支出达到449亿美元,而自由现金流为负59亿美元,因为公司扩展基础设施以满足需求。
对于Nvidia、AMD和AI服务器生态系统而言,2028年的风险不是消费者使用更少的人工智能。而是他们使用远更多的人工智能,却无需硬件购买量按照当今系统需求的速率增长。