美光和Qualcomm正在追求不同的下一代内存架构策略。
AI基础设施面临一个共同的瓶颈：数据传输的成本现在高于计算成本。高通（Qualcomm）和美光（Micron）各自针对这一约束条件的两端设计了不同的解决方案。高通的高带宽计算（HBC）架构将计算单元直接堆叠在单个封装内的内存之上。美光则保持计算和内存作为独立组件，通过由Rambus、英飞凌（Infineon）和Everspin支持的更广泛的多层内存层级结构来分配工作负载。这两种策略都基于同一个前提：如今，内存对AI性能的决定性作用与计算能力相当。
高通通过在LPDDR封装下方使用密集的硅通孔（TSV）直接堆叠逻辑芯片，执行其HBC架构，从而有效地消除了计算与内存之间的界限。美光采取截然不同的方法，保持计算和内存的独立性，并在针对成本、功耗和延迟进行优化的分层内存层级中进行扩展。Rambus、英飞凌和Everspin分别为该层级提供关键组件，它们坚信AI不断扩大的需求需要多技术解决方案，而非单一封装的修复方案。
供应限制和资本流动进一步巩固了美光的策略。目前，高带宽内存（HBM）的需求超过了供应，因为AI加速器吸收了制造商能生产的每一GB内存，促使工程师重新利用源自智能手机的内存技术用于数据中心。低功耗DRAM（LPDDR）和小外形压缩附加内存模块（SOCAMM）正在争夺AI机架中的角色，随着每瓦性能成为决定性指标，这从根本上重塑了独立软件供应商（ISV）、硅片团队和首席信息官（CIO）的采购计算模型。
LPDDR最初由智能手机制造商为电池受限设备设计，其对低功耗和紧凑外形因子的强调现在与数据中心的优先级完全契合。JEDEC即将发布的LPDDR6规范将该标准从移动平台扩展到明确涵盖加速计算工作负载。与LPDDR配合使用的SOCAMM外形因子在CPU附近提供更高的容量和能效，在消耗标准DDR5 RDIMM约三分之一电力的同时，缩小了面向大量Token模型的内存墙。当高通的HBC重新定义封装时，SOCAMM重新定义了模块和插槽，使CPU与内存之间的边界在结构上保持完整。
美光最近推出的256GB SOCAMM旨在实现密集且可维护的服务器构建，相比传统RDIMM，它为每个CPU提供了显著更多的内存。该模块基于美光的1-gamma DRAM工艺和单体32Gb芯片制造，通过将KV缓存从HBM卸载来降低首Token延迟。（来源：美光）
低功耗DRAM在当今的数据中心确实拥有真正的市场机会。美光确定了与其产品功能集紧密匹配的应用空间。随着AI工作负载继续向推理转移，响应时间和内存占用成为核心设计约束，使得内存带宽变得至关重要。
相比之下，高通报告称其每瓦带宽比传统HBM高出多达6倍，这一增益是通过完全消除芯片边界跨越实现的。该公司将这一策略集中在一个专为单一加速器系列设计的堆叠封装中，通过每瓦带宽倍数来衡量成功：目前Dragonfly AI250每张卡的有效带宽为133 TB/s，一旦HBC Gen 2于2027财年商业化并搭载于AI300，预计将较AI200基线实现54倍的提升。
美光将其策略分布在已由多家供应商出货的JEDEC标准化硬件上，使其能够部署在任何采用SOCAMM标准的服务器平台上。高通则将风险和回报集中在针对未来一代产品的单一执行时间线上。美光则将两者分散在一个模块化层级中，服务器制造商可以立即开始逐步采用。
美光并未将SOCAMM定位为HBM的替代品，两家公司也未声称其架构消除了HBM的使用。相反，它在更广泛的层级中占据中间地位：热KV缓存保留在HBM中，温KV缓存位于低功耗DRAM中，而冷KV缓存则移至高速存储。
图1. 美光的SOCAMM HBM替代方案。（来源：美光）
LPDDR和SOCAMM因其容量和快速访问时间而受到青睐，并非因为芯片制造商最初是为AI设计它们的。AI需求使HBM完全饱和；该技术因AI而被预定，反过来又给DRAM带来压力。超大规模企业优先考虑效率，因为它们严格计算电力和系统成本——同样的经济逻辑也证明了高通为其狭窄目标配置文件的工作负载所收取的堆叠封装溢价是合理的。
**Rambus和英飞凌扩展了高通跳过的层级**
Rambus最近宣布了其基于LPDDR的SOCAM2芯片组，这是计划中的AI系统服务器模块芯片组家族的首个成员。这为该层级引入了第二个供应商，而高通的设计完全绕过了这一层级。Rambus指出，推理呈现出的景观不同于训练，并指出像GDDR和DDR这样成本较低的替代品通常能满足要求。“GPU花费超过一半的功率将数据移动到内存，” Rambus院士兼杰出发明家Steven Woo表示，强调了为什么像CXL这样的互连技术——一种在 Qualcomm单封装设计中没有等效物的软件定义池化层——正受到高度关注。
英飞凌科技认为，AI堆栈需要多个设备类别层级来平衡成本、功耗和持久性：HBM位于顶端，SRAM用于对延迟敏感的操作，而DRAM、CXL池化内存和闪存SSD用于上下文保留和模型存储。
图2. 英飞凌认为不能一刀切。（来源：英飞凌）
英飞凌指出NOR闪存是一个被忽视的推动因素， noting that Nvidia的GB200机架利用它来存储引导代码以及作为存储密钥和证书硬件安全锚点——这是任何近内存计算都无法复制的功能。英飞凌坚持认为，AI堆栈需要解决成本、功耗和持久性的多个内存设备类别层级。
**MRAM宣称在高通设计未触及的领域发挥作用**
NOR闪存在代码、固件和持久状态方面面临来自MRAM的竞争，这是一个完全超出高通HBC范围层级。随着AI在数据中心、网络和边缘的扩展，持久内存支持变得必不可少。离散MRAM通过启用更本地的推理来缓解数据中心瓶颈。Everspin的新UNISYST MRAM在单一非易失性架构中统一了代码存储和数据内存，专为边缘AI和工业设计量身定制，将FPGA代码编写时间从NOR闪存所需的10到20分钟减少到几秒钟。
机架设计师面临一个根本性的选择：是将计算-内存风险集中在一个封装中，还是将其分布在既定标准上。CXL池化实现了后者路径，减少了闲置容量，并将电源从引脚密集的接口移开，以便工程师可以将对延迟关键的数据固定到本地DRAM，同时将重型数据集卸载到共享池中。高通选择了前者路径，将计算和内存合并为一个单一的架构飞跃，消除了单一加速器系列的界限。美光、Rambus、英飞凌和Everspin选择了后者，利用JEDEC标准、CXL和DIMM插槽，在四个独立的供应商之间跨越HBM、LPDDR、DDR、NOR和MRAM。
双方阵营均未声称有决定性的解决方案。高通的堆叠封装针对单一加速器系列的峰值效率，并接受通向2027年的统一路线图所带来的执行风险。美光、Rambus、英飞凌和Everspin押注于广度：一个灵活的层级，允许任何服务器制造商混合内存类型，以匹配当前工作负载的成本、功耗和延迟要求。这两种方法共享一个基本前提——如今，内存与计算一样决定了AI的性能和经济性，行业下一波的增长将取决于工程师如何精确地定位数据。
高通的HBC将风险集中在一种封装策略中，潜在回报更大，但需等待两个财政年度。美光的分层方法将风险分散在四家供应商和现有的JEDEC标准上，为买家提供了即时的选择权。两种回应都验证了相同的诊断：数据移动而非原始算术运算，现在定义了AI系统性能和成本的天花板。
转折点。内存多样化标志着AI基础设施的结构转变。行业已不再将内存视为单一商品，而是将其管理为一组专门层级的组合，每个层级都针对特定工作负载进行了校准。高通的HBC将封装集成定位为内存与计算接口方式的另一个转折点。这些发展共同发出了行业重置的信号：买家现在同等重视内存层级设计和封装创新，且每个Token的总能耗正取代峰值带宽成为主要的采购指标。
高通、美光、Rambus、英飞凌，以及现在的英特尔，都在密切关注内存领域。