AMD推出闪存扩展内存架构以扩展服务器DRAM容量,无需HBM。
数据中心正面临一场危机,其中心是DRAM主内存的短缺和荒谬的高价格。GenAI热潮导致超大规模云计算商、云基础设施建设者、AI模型开发者和新云服务商争夺来自美光科技、三星和SK海力士等内存代工厂有限产能,这种需求冲击导致了前所未有的价格上涨。
根据Counterpoint Research的数据,64 GB DIMM内存价格在2025年Q3至2026年Q1期间上涨了3.5倍,到2026年Q3可能会上涨5倍。美光最近的财务报告显示,这种需求冲击现象至少会持续到2028年,这意味着价格将继续攀升。
DRAM主内存在服务器成本中的占比从2023年的约50%(CPU约占物料清单的四分之一,其余为外设和存储)变化到2026年中期的60%至90%,平均约75%。CPU价格并未下降,正因为内存价格飙升,CPU价格的上升相对显得较小。
主内存可以通过更高效的使用方式获得提升,甚至可以用闪存进行扩展——这个概念已经被追求了十多年。这曾是英特尔和美光在2015年7月推出的3D XPoint存储的承诺。3D XPoint的目标是提供介于DRAM和闪存之间的性能,同时保持像主内存一样的字节寻址能力,又具有闪存般的成本效益。然而,英特尔未能快速推进3D XPoint的制造和工艺,最终它的成本几乎与DRAM一样高,而性能也仅比闪存快几倍。英特尔将3D XPoint限制在自己的至强服务器处理器上的决定阻止了它主流化。最终,英特尔杀死了这项技术,并将其闪存业务出售给了SK海力士——这一自我挫败的举措让英特尔损失了巨大的未来利润。
如今,三大内存制造商正在增加昂贵的HBM堆叠内存生产,同时削减用于服务器DIMM模块的普通DRAM芯片和闪存产出,以提升DRAM生产。年度DRAM和闪存产量可能增加20%至25%,但需求远超这一增幅。因此,DRAM和闪存价格继续上涨,因为这三大厂商将产能出售给出价最高的买家。
这种市场动态促使AMD收购了MEXT,这是一家2023年成立的初创企业,在2026年4月初才亮相。公司名称旨在唤起内存扩展的概念,其团队开发了一种以透明且无感的方式将DRAM主内存扩展到闪存存储的技术。
MEXT联合创始人兼首席执行官Gary Smerdon在这一领域拥有深厚的专业知识。他曾是Fusion-io的首席战略和产品官,Fusion-io是闪存存储用于服务器的首批主要商业化企业,其客户包括苹果和Meta平台。在那之前,Smerdon在LSI Logic领导固态内存工作长达六年。最近,他联合创办了TidalScale,创建了一个HyperKernel超级管理程序,使企业能够从较小的物理NUMA服务器构建大规模虚拟NUMA服务器。TidalScale融资7030万美元,在2022年12月被惠普企业收购。
MEXT融资了240万美元的种子资金,但消息人士表示总额可能更高。投资者包括Clear、DN Capital、Uncorrelated、Raptor和FJ Labs。该公司拥有39名员工,许多来自TidalScale,在高级职位上还有内存管理和虚拟化领域的外部专家。
联合创始人David Reed曾在TidalScale和数十年前的Lotus Development担任首席科学家。最近,他是HPE的Fellow和SAP的副总裁,同时在麻省理工学院担任计算机科学教授,他在塑造互联网协议栈的某些部分方面贡献良多。Carl Waldspurger是VMware负责ESX超级管理程序处理器调度、内存管理和NUMA调度的首席工程师,也是VMware分布式资源调度程序的架构师,他加入MEXT担任首席科学家。分布式资源调度程序控制虚拟机的实时迁移,本质上涉及在系统之间移动内存状态。
这些领导者在内存问题上拥有长期经验。在1980年代后期,他们应对了Intel 80286架构的640 KB主内存限制,使用DOS中的HIMEM.SYS扩展内存驱动程序来访问高达1 MB的内存。80386引入了内置扩展内存支持,可支持高达4 MB的32位处理。
内存扩展并非新概念,但鉴于DRAM目前的高昂成本,这是恰逢其时的。闪存的成本比DRAM低50倍,功耗降低30倍,尽管速度慢500倍。有效地将闪存用作内存扩展器需要复杂的工程设计。
"我们提出了三个问题,如果我们能解决它们,就会改变一切,"Smerdon解释道。"一是,我们必须提高DRAM利用率——这很明显,每个人都在通过CXL和池化技术尝试。二是,内存扩展工作不需要硬件或软件改变。在我在以太网、AMD和LSI的职业生涯中,所有快速增长的产品都不需要软件改变。理想情况下,这也不应该。然而,没有人在关注内存问题的同时把这作为核心原则。三是,我们需要将闪存纳入内存层级。从2023年开始时的每比特成本便宜50倍,现在可能便宜100倍,功耗低30倍。只有一个问题:闪存慢500倍,这表现不佳。我们都知道交换很糟糕,所以我们必须解决这些问题。"
解决方案是停止将冷数据存放在DRAM中,而是用热数据填充DRAM——需要在数十纳秒内访问的数据。将页面从热推送到温再到冷的闪存上是简单的。真正的挑战是,数据可能会通过单个CPU指令在不到一纳秒的时间内从冷变得炽热。
MEXT开发了它称之为Predictive Memory的技术,使用AI算法监控应用程序和内存访问模式,在应用程序或操作系统请求之前从闪存中将数据检索回DRAM。
"我们开发了预测精度和覆盖率都远优于以前方法的复杂机器学习模型,"Waldspurger解释道。"我们的灵感来自基于LSTM和LLM Transformer等神经网络的现代AI技术,这些技术擅长序列预测。与其预测自然语言中的令牌,我们将类似的想法应用于预测未来内存页面访问的序列。由于我们的AI模型异步运行,它们受益于更丰富的信息和关于长期趋势的上下文,并能利用硬件计数器。"