高通Dragonfly数据中心架构将高带宽计算密度技术引入智能手机;启用设备上AI。

人工智能正在迅速从云数据中心转向我们日常使用的设备。第一波生成式AI依赖于配备昂贵图形处理器的大规模计算场。下一阶段将把更多计算直接转移到智能手机、笔记本电脑和车辆上——使AI更快、更便宜、更私密。

这一转变已成为芯片制造商的竞争战场。高通认为，它为AI数据中心开发的相同技术最终可以为下一代边缘设备供电。

高通战略的核心是一种名为高带宽计算（HBC）的新芯片架构。它使用硅通孔（TSV）将专用AI加速器逻辑直接放置在垂直堆叠的LPDDR内存下方，大大缩短了数据在内存和计算单元之间传输的距离。它解决的问题很直接：现代AI模型需要耗费大量时间在内存和处理器之间来回移动数据——工程师称之为"内存墙"的瓶颈。随着AI模型变得越来越大，数据移动消耗的功能越来越多，甚至超过计算本身。

高通声称HBC相比传统高带宽内存（HBM）设计具有优势，这一立场不仅可能吸引云服务提供商，还可能吸引智能手机、PC和汽车系统，在这些系统中电源效率和原始性能同样重要。

高通并非在发明一个完全新的计算类别。英伟达、超微半导体、三星、美光科技和SK海力士已经在AI加速器中依赖先进的3D内存堆叠技术。AMD的MI300系列将CPU、GPU和HBM整合为紧密集成的封装，而三星已经在处理器内存技术上投入巨资。

高通方案的独特之处在于其对推理而非训练的关注。推理——生成AI响应——正在成为最大的长期AI工作负载。通过将低功耗LPDDR内存与近内存计算相结合，高通相信它可以提供更好的每瓦性能，同时降低总系统成本。这符合高通的历史优势：数十年来优化电池供电设备芯片，使其在LPDDR内存和电源管理方面具有深厚专业知识。从智能手机将这些能力扩展到AI服务器，然后将该架构带回消费设备——这是一条不寻常但符合逻辑的路线图。

**云计算对AI的控制力在松动。高通的HBC架构效率提高6倍，是最终突破硬件瓶颈的武器。** © 24/7 Wall St.

散热仍是最大的挑战。将逻辑直接堆叠在内存下方造成了一个主要的工程问题：计算芯片产生的热量必须向上穿过多层硅才能到达冷却方案，从而产生可能降低性能或缩短组件寿命的热点。数据中心可以通过液体冷却和精密的热管理系统来解决这个问题。智能手机、笔记本电脑和车辆的空间和功率约束要紧张得多。高通认为有几个因素可以帮助应对这些热挑战，但投资者应该等待独立基准测试后才能得出结论。

高通的高带宽计算架构不是与现有半导体设计的革命性突破，但可能成为AI计算的重要演进。高通不是在大规模AI训练集群中追赶英伟达，而是针对下一波AI推理，采用围绕效率而非蛮力设计的架构。

如果高通成功，回报可能远超数据中心范围。智能手机、PC和联网车辆可以在本地运行更大的AI模型，降低云成本、改善隐私并延长电池寿命。剩下的问题是高通能否证明其热设计和制造方法在规模化生产中可行。对于长期投资者来说，这些基准测试和早期客户部署将值得密切关注。