高通正在推进一种将计算单元直接置于内存旁边的芯片架构，以降低延迟并提高带宽效率。

高通详细阐述了其高带宽计算（HBC）架构如何解决人工智能领域一个昂贵且常被忽视的瓶颈：数据移动。通过将DRAM直接堆叠在逻辑芯片上，并在数据所在位置执行数据密集型操作，HBC消除了内存与处理器之间对更宽接口的需求。Dragonfly AI250将搭载第一代HBC（HBC Gen 1），而即将推出的Dragonfly AI300则将采用第二代HBC（HBC Gen 2）。对于正在优化推理栈的独立软件供应商（ISV）以及评估封装策略的硅片团队而言，这一架构转变从根本上改变了行业衡量AI性能的方式。

生成式AI工作负载暴露了一个根本性的限制，即原始计算速度无法克服这一约束。生成每个令牌（token）都需要从内存中获取海量的模型参数和累积上下文，与数据传输的成本相比，实际的算术运算几乎可以忽略不计。尽管过去十年间计算能力大幅飙升，但内存带宽却远远落后。Transformer模型的规模每两年增长约240倍，而在同一时期，AI硬件的内存容量仅增加了2倍。这种差异导致加速器中越来越多的部分处于空闲状态，因等待操作数到达而停滞不前。

图1. 计算能力在各代产品中急剧上升。内存带宽的增长要缓慢得多，且这一不断扩大的差距日益决定现实世界中的AI性能。（来源：高通）

业界传统的解决方案试图通过相同的底层布局传输更多带宽：保持内存和计算作为离散组件，并加宽它们之间的互连。这种方法很快会遇到物理和经济上的天花板。更宽的接口需要额外的导线和引脚，从而增加成本和复杂性，同时带来递减的收益。在分离的内存和计算芯片之间传输的每一比特数据都会消耗能量并引入延迟；在当前规模下，这种数据移动主导了功耗预算。此外，包括CoWoS在内的2.5D中介层等先进内存集成技术涉及高昂的成本和严重的供应限制，使得顶级性能仅限于少数部署场景。

高通的解决方案：将逻辑移至内存附近

高通的HBC架构将计算逻辑直接置于内存旁边，消除了数据原本必须穿越的芯片边界。该设计将一个LPDDR DRAM封装垂直堆叠在逻辑或计算芯片之上，并通过密集的硅通孔（TSVs）连接各层，而不是依赖传统的高带宽内存（HBM）长边缘接口。在标准的2D有机基板上运行使高通能够完全避开受供应限制的2.5D中介层封装。高通将此架构归类为近内存计算——这与存内计算范式不同——并声称其每瓦特带宽比传统HBM高出多达6倍，同时每瓦特容量也远高于片上SRAM所能提供的水平。

图2. 两种竞争理念：一旦数据移动主导了能源预算，在数据附近进行计算而非传输数据，将从根本上重塑系统经济性。（来源：高通）

该架构并未取代主处理器。高通Dragonfly AI加速器仍负责复杂、灵活的编排任务，而HBC则承担那些馈送成本过高、由内存绑定的操作。每个组件执行最适合其设计的工作负载。

高通已将第一代HBC集成到Dragonfly AI250机架级平台中，该平台每张卡可提供133 TB/s的有效带宽——相较于Dragonfly AI200的LPDDR5X配置，有效内存带宽提升了18倍。第二代HBC将在即将推出的Dragonfly AI300平台上首次亮相，目标是相对于AI200基线实现54倍的提升。在最近的一次分析师会议上，高通技术规划、边缘解决方案及数据中心部门执行副总裁兼总经理Durga Malladi重申了公司在投资者日上公布的路线图。她确认，第一代HBC将于2027财年实现商业化，目前的重点正从研究和测试芯片转向量产。

高通还将HBC定位为一种模块化基础设施组件，不与任何单一专有平台绑定。预计客户将独立部署高通CPU、独立部署HBC，或以组合方式使用，而无需采用高通的其他加速器产品。这种模块化框架符合高通更广泛的推理战略：鉴于AI将在云、边缘和混合环境中部署，公司计划支持来自开放生态系统的模型，而不是开发专有的基础模型。高通强调，效率——以能耗和令牌生成吞吐量来衡量——正成为越来越具有决定性的竞争指标。

最近收购的Modular软件堆栈进一步加强了高通的价值主张。该堆栈旨在运行在第三方硬件平台上，高通将其市场定位为开放且广泛可用，并指出其性能相比现有替代方案有显著提升。该公司表示，在初步试点合作中收到了超大型云服务提供商（hyperscalers）的 overwhelmingly positive（压倒性积极）反馈。

在问答环节，分析师们集中在实施细节上。问题涵盖了封装技术、TSV对准、热约束、内存供应商参与情况、光互连、制造良率、软件生态系统影响、JEDEC标准合规性以及未来的解耦内存架构。高通以与内存合作伙伴的活跃合作及未公开的产品路线图为由， withholding（保留/未透露）了几项技术细节。

高通认为，AI基础设施购买者需要修订评估框架。随着买家优先考虑内存绑定工作负载的实际交付性能，以及每瓦特性能和每美元性能比率，传统的峰值计算指标正逐渐失去相关性。这使得焦点从峰值理论吞吐量转移开来。能耗既是超大规模部署中的主要运营支出，也是硬性物理约束，这赋予了最小化数据移动的架构一种复合结构性优势。在这一范式下，内存从被动存储介质转变为主动的计算参与者，其影响波及芯片架构至数据中心经济学的方方面面。

高通将HBC定位为对结构性行业挑战的直接回应：计算中的稀缺资源已从原始算术运算转移到及时、经济高效地交付数据。公司的路线图——涵盖AI250上的Gen 1和AI300上的Gen 2——为ISV和硅工程团队提供了明确的设计目标。同时，它为首席信息官（CIO）和IT采购领导者提供了一个评估AI基础设施投资的新框架，超越了峰值FLOPS（每秒浮点运算次数）的市场宣传说法。

图3. 容量、带宽和计算规模在HBC的支持下协同扩展。传统架构迫使设计师在其中做出选择。（来源：高通）

对于硅工程团队而言，近内存范式恢复了此前受限于CoWoS供应瓶颈的可行封装选项。对于ISV而言，它提升了基于内存局部性而非单纯核心数量来调度工作负载的软件的重要性。与此同时，在谈判多年期AI基础设施协议的首席信息官获得了除峰值FLOPS之外的次要评估指标：每服务一个令牌消耗的总能量——随着AI机队的扩张，这一数字与运营支出呈线性增长。

HBC为高通在推理基础设施市场中赢得了可信的一席之地，而无需在原始计算指标上与NVIDIA和AMD展开直接竞争。近内存策略解决了真实的物理局限性，而标准基板封装则规避了目前给竞争对手带来压力的CoWoS供应限制。由于商业化仍需两个财年，执行风险依然存在，第二代HBC实现规模化扩大的速度将很大程度上取决于内存供应商的持续合作。

行业拐点？HBC可能标志着AI基础设施设计的关键转变。在过去十年中，业界通过不断增加计算密度和加宽内存接口来扩展加速器。高通的数据显示，随着工作负载加剧，这一轨迹正接近其物理和经济极限。如果近内存架构在数据中心、个人电脑、汽车系统、扩展现实（XR）和工业应用中普及，竞争格局将从峰值FLOPS转向每瓦特带宽效率。这一转变将从根本上重塑ISV优化软件的方式，以及CIO在多年度采购周期中评估AI基础设施收购的方式。

如果您喜欢这里阅读的内容，请不要吝啬，分享给您的朋友。