HBC和HBF内存技术作为HBM的下一代继承者出现,应对容量限制。
全球半导体产业正在争相开发"高带宽内存"(HBM)的后继产品——这已成为人工智能时代的标志性内存架构。HBM通过垂直堆叠DRAM以最大化数据处理速度,一直是AI训练工作负载的核心。然而,随着AI推理——即已部署的模型回答现实查询——的需求加速,业界正在竞争制定优先考虑能效和减少数据移动的下一代标准。
高通公司最近发布了"高带宽计算"(HBC),这是一种内存设计,在专用于AI计算的加速器之上堆叠多个低功耗DRAM(LPDDR)芯片。与传统HBM不同——传统HBM需要与图形处理器进行持续的数据交换,代价是巨大的功耗——HBC在内存附近处理部分计算,只传输必要的结果。高通声称HBC的每瓦带宽是HBM的六倍。
NVIDIA采取了不同的方法,推出"小外形压缩附加内存模块"(SOCAMM)——一种基于LPDDR的模块化设计,适配服务器环境。SOCAMM借鉴了智能手机内存的效率优势,同时提供了相比传统服务器DRAM更优越的能效。NVIDIA下一代GPU Rubin将保留HBM4,但其CPU Vera将采用SOCAMM2,由三星电子和SK海力士供应。
"高带宽闪存"(HBF)代表了一个完全不同的范例。HBF堆叠的不是DRAM,而是NAND闪存——一种不需要电力就能保留数据的非易失性存储。虽然NAND的速度慢于DRAM,但其容量远高得多,成本也更低,适合在服务器附近存储大量频繁访问的AI数据。如果HBM充当快速访问工作台,HBF就相当于附近的存储柜。SanDisk领导HBF标准化工作,SK海力士参与其中。
英特尔和CaiMemory(软银子公司)正在开发"Z角内存"(ZAM)作为HBM的替代方案。与HBM类似,ZAM垂直堆叠DRAM,但以斜角而非直通道路由数据通路——从而降低功耗和热生成。
平行的研究方向探索"内存中处理"(PIM),它将计算功能直接集成到内存半导体中,使内存能够就地对数据执行部分计算。三星电子和SK海力士正在推进基于LPDDR的PIM实现。
据半导体产业观察人士称,从以HBM为中心的训练向以推理为重点的系统的转变正在重塑内存架构。"虽然HBM是AI训练时代的核心内存,但推理时代优先考虑能效和最小化数据移动。下一代HBM不会是单一的内存标准,而将从设计数据移动更少、处理更接近的完整系统的竞争中产生。"