美光在Hot Chips 2026上展示了专为人工智能工作负载演进的内存架构，突出了当前的封装机遇。

在演变为重要独立活动的Hot Chips 2026 Day 0活动拉开帷幕之际，美光（Micron）展示了其针对人工智能量身定制的内存架构演进愿景。该公司强调，高带宽内存（HBM）和先进封装已处于AI系统设计的核心地位。

美光的演讲以OpenAI计算效率前沿为切入点，阐述了内存为何成为语言模型扩展的核心因素。公司指出了模型规模、数据集规模和训练算力之间的幂律关系，认为这三者必须同步扩展，才能提升大型语言模型的性能。内存是连接这些因素的关键资源。针对“内存墙”问题，美光指出，AI加速器的TFLOPS大约每两年翻三倍，而同期2.5D附加内存（如HBM）的带宽增长率不到两倍。这一日益扩大的差距使内存技术成为限制AI系统性能的主要瓶颈。

美光将HBM定位为关键的计算-内存桥梁，追踪了从HBM2e到HBM5各代产品在立方容量、带宽和能效方面的提升。为了展示现代加速器的物理占用空间，公司显示，仅考虑基础芯片和八个HBM4实例，典型的GPU封装面积就超过12,000平方毫米。在采用12层高的HBM4配置下，内存硅片占据的面积可达GPU芯片本身的八倍以上。通过提高内存带宽上限，HBM改变了运行边界，使得内存密集型AI工作负载能够在触及容量限制之前运行得更快。

演讲详细介绍了HBM的架构演变，梳理了从HBM1到HBM4的产品路线图。每一代产品都提高了数据速率、伪通道数和堆叠高度，以提供更大的带宽和容量。与标准的ECC RDIMM不同，HBM作为系统级封装（SiP）直接集成到异构系统中。在每个DRAM芯片内部，多个独立通道并行工作，每个通道包含两个伪通道。HBM3E每个芯片拥有128个存储库，而HBM4将其翻倍至256个。基础芯片位于主机处理器和DRAM堆栈之间，主机侧采用微凸点PHY，连接堆栈的一侧则采用3D TSV PHY。这些组件通过高密度点对点中介层连接进行通信，I/O数量从HBM3E的1K扩展到HBM4的2K。

美光概述了固有的性能与容量权衡，并表示关于PCB面积和功耗的具体指标将留待未来讨论。公司还强调了实现这种速度所需的硅成本：设计架构、先进封装和制造复杂性的综合开销，使得交付同等HBM3E容量所需的硅片面积约为DDR5的三倍。为了支持持续的AI创新，美光强调了在性能、容量和能效方面的进步。更快的I/O链路和更大的中介层继续推动SiP的发展，其中包括内存优化的SERDES、芯片到芯片（die-to-die）PHY以及共封装光学器件。封装路线图还包括更大的SiP外形规格，如CoWoS-L和CoWoS-R，以及新兴的玻璃基板。

接下来讨论了可靠性和RAS（可靠性、可用性和服务性）挑战，重点在于芯片与封装的交互。在异构集成的HBM设备中，材料之间的热膨胀系数不匹配会产生显著的热机械应力——这是Cerebras在其晶圆级引擎开发过程中曾遇到的挑战。ECC覆盖范围现已扩展到两层：从HBM3开始，它在系统层面为每次256位访问提供16个元比特，并辅以基于符号的里德-所罗门（Reed-Solomon）片上ECC。热管理同样至关重要，因为增加的DRAM活动、更高的堆叠以及增强的基础芯片功能会产生大量热量。美光确定，液体冷却、混合键合以及对焊料和侧面模塑料的改进，是维持带宽和容量扩展所需的关键创新。

综上所述，这些发展展示了美光如何在扩大HBM带宽和容量的同时，平衡将大规模内存阵列置于计算单元旁边的封装、散热和可靠性约束。行业向HBM的转变以及AI数据中心需求的激增，目前正推动内存供应紧张。随着美光将关注点从单纯的容量扩展到先进封装和系统集成，HBM带宽、硅成本、散热性能和可靠性之间的权衡将决定未来几代加速器的设计。这一格局为进一步创新奠定了基础，包括定制HBM配置，其中基础芯片集成了专用的内存控制器和计算元件。