Micron警告称，计算性能每两年就比HBM带宽快三倍，迫使业界加速投资先进封装和热管理工艺。
美光科技（Micron）深入探讨了高带宽内存（HBM）的基本原理、其在现代系统中的关键作用、与传统DDR相比的性能表现，以及为满足日益增长的AI负载而需要持续创新以应对的紧迫挑战。
随着人工智能大语言模型（LLM）的不断演进，先进的内存技术已成为其持续扩展和优化的必要条件。然而，内存已成为主要的瓶颈，越来越制约着整体AI系统的性能。
目前，HBM是主流AI加速器中占主导地位的DRAM架构。在典型的AI系统中，大量的处理时间花在等待数据上，使得许多操作受限于内存而非计算能力。一旦加载了足够的数据，系统就会进入计算受限阶段，此时处理器保持充分利用状态。通过提高内存带宽上限，HBM使内存密集型AI工作负载能够在遇到吞吐量限制之前维持更高的性能水平。
在Hot Chips 2026会议上，美光的HBM设计架构院士Raghu Sreeramaneni揭示了该公司所称的“内存井”（Memory Well）。美光指出，虽然计算能力每两年增长3倍，但在此期间内存性能的提升幅度不到2倍。目前行业主要依赖三种内存架构：2.5D附加内存、2.5D先进内存以及存内计算DRAM。
演讲的重点强调，加速AI发展需要先进的内存解决方案，其中HBM发挥着核心作用。然而，现有的HBM面临一个根本性的权衡：随着每个DRAM密度的增加，能效（以pJ/bit衡量）会下降。解决这一问题需要行业采用颠覆性的工艺和封装技术，以及先进的设备到设备（D2D）PHY功能，从而实现GPU卸载并支持自定义架构特性。
美光目前出货的是HBM4，这是迄今为止性能最高的HBM代际产品。它提供高达2,800 GB/s的带宽，输入/输出（IO）数量翻倍，通道数量也是HBM3E的两倍。随着每一代产品的迭代，HBM在数据速率、伪通道、密度和堆叠高度方面持续改进。
尽管HBM的基础架构在各代产品中保持一致，但每次迭代都引入了渐进式的优化。HBM设计由垂直堆叠的DRAM芯片组成，包含多个独立通道。每个通道由两个伪通道组成，配备共享的命令/地址总线与独立的数据总线。
在堆叠芯片下方是基座芯片（base die），负责管理主机系统与DRAM层之间的命令和数据路由。基座芯片集成了微凸点PHY以与主机接口，以及3D硅通孔（TSV）PHY，将DRAM堆栈电气连接至基座芯片。这种垂直互连结构贯穿整个HBM封装的高度。最后，HBM立方体通过高密度、短距离点对点连接安装在硅中介层上；HBM4为此接口使用了2,000个IO。
与传统的基于DDR的DRAM相比，当在GPU上部署多个堆栈时，HBM能提供显著更高的系统带宽。虽然DDR配置可以实现更大的总容量，但它们占据了更多的电路板空间。相比之下，HBM直接安装在GPU旁边，提供的带宽达到每秒数太字节（TB/s）的范围，而DDR的特征是每秒数吉字节（GB/s）的范围。这两种技术的性能差异巨大。DDR5通常提供约300 GB/s的带宽（最高可达1 TB/s），而使用HBM的标准GPU配置可实现约5.3 TB/s的带宽——优势为15至17倍。相反，DDR5在容量方面保持优势，支持多个DIMM上的数百吉字节容量，而HBM约为200 GB，因此HBM的容量低约五倍。HBM凭借 vastly superior 并行性进行补偿，HBM3E中每个芯片有128个存储库，HBM4中有256个，而DDR5只有32个。这种架构使得HBM3E中每个芯片的带宽约为256 GB/s，比DDR5的约8 GB/s高出约32倍。然而，实现等效密度需要在HBM中使用大约三倍于DDR5的硅面积，以容纳额外的数据路径和供电线路。在能效方面，HBM在传输每位数据的功耗（pJ/bit）方面表现出更低的能耗，特别是在顺序AI访问模式下，使其明显比DDR5更高效。
尽管具有这些优势，HBM也存在明显的缺点，其中最突出的是热管理问题。随着堆叠密度和高度的增加，散热变得越来越成问题。
美光强调，解决这一约束需要针对性的热创新。核心问题不在于绝对功耗，而在于极高的功率密度。基座芯片承受了大部分的热应力，因为它容纳了大多数高级逻辑和PHY电路；增加堆叠高度进一步加剧了芯片活动和热量集中。虽然液冷和混合键合等行业方法提供了部分缓解，但美光正在积极开发下一代先进封装技术，旨在系统地减轻这些热瓶颈。
在这些创新中，包括融合键合（fusion bonding），它能够实现极细的互连间距，分辨率达到个位数微米级别。这种方法通过封装实现了实质性的更高数据传输吞吐量，同时减少了堆叠DRAM芯片之间的介电层数量，从而降低了热阻并改善了散热。
与此同时，美光正在工程化以内存优化的SerDes架构为中心的下高速IO设计。公司还在探索将HBM堆叠扩展到当前16层芯片高度的可行性，尽管它承认在实现此类配置商业化之前仍存在重大的工程障碍。
HBM已通过复杂的垂直堆叠、极端并行性和先进封装，确立了其作为现代AI基础设施不可或缺的基础地位，提供了卓越的带宽、密度和能效——这是传统DDR架构无法复制的能力。然而，未来的路线图依然复杂。克服持续的内存墙需要应对错综复杂的热动力学、可靠性约束、芯片-封装交互以及不断增高的堆叠的物理极限。维持这一轨迹需要持续的跨学科创新。随着AI工作负载变得日益苛刻，计算与内存之间的传统界限继续消融，行业范围内的合作对于解决这些挑战、扩展容量和性能以及保护从根本上重塑全球计算的快速进步至关重要。