SK海力士和SanDisk推出高带宽闪存技术以解决AI计算瓶颈,加速数据流动。
在圣克拉拉举办的2026年存储与内存未来(FMS)大会上,SK海力士和闪迪通过开放计算项目正式发布了高带宽闪存(HBF)首个开放技术规范。该规范由谷歌DeepMind和Tenstorrent等关键生态伙伴共同开发,旨在解决制约企业人工智能基础设施的内存墙问题。
随着前沿神经网络参数数量从数千亿扩展到数万亿,加速器芯片包上的原始高带宽内存(HBM)容量已成为严重瓶颈。虽然HBM提供了为现代张量处理单元供电所需的极限多太字节每秒吞吐量,但其高昂成本和物理转接器占用严格限制了可连接到GPU的总容量。高带宽闪存通过在功率密集型HBM和标准PCIe连接固态驱动器之间插入一个中间的高密度内存层来解决这一经济制约。
高带宽闪存采用高密度3D和4D NAND闪存技术,以八层或十六层堆叠芯片配置紧密封装,每个堆栈可提供高达512GB的近计算容量。通过将NAND阵列设计为近内存而非传统块存储,AI加速器可以卸载超过HBM限制的大规模参数集,而不会产生PCIe总线的严重延迟和吞吐量损失。
该范式特别适用于采用专家混合(MoE)拓扑或逐层嵌入卸载的AI推理工作负载。在MoE架构中,对于任何给定令牌,仅一小部分总网络参数处于活跃状态,大量条件路由的专家权重存储在快速内存中。由于AI模型服务主要是读密集型的——在矩阵乘法期间重复检索静态模型权重——NAND闪存的写入耐久性约束在加速器的整个运行生命周期内几乎无关。
为实现接近RAM级的延迟和大规模互连吞吐量,高带宽闪存规范要求采用通用小芯片互连快速接口(UCIe)作为其物理层和协议级主机接口。该标准由包括AMD、英特尔、台积电和Arm在内的广泛联盟管理,取代目前限制小芯片互操作性的专有互连。通过采用UCIe小芯片封装而非板级走线或PCIe通道,高带宽闪存芯片堆栈可以直接安装在与主GPU或定制ASIC相同的硅转接器或高密度基板上。
初始OCP技术规范概述了三个可扩展带宽等级——1级至3级——能够提供的主机接口带宽范围从约400千兆字节每秒到3太字节每秒。与SK海力士的375层V10 4D NAND等前沿闪存架构集成时,高带宽闪存相比标准服务器闪存可提供高达2.5倍的功率效率。
高带宽闪存将局限于企业数据中心和定制加速器板。高带宽闪存所需的先进3D异构封装、硅转接器和专用UCIe物理层仅在超大规模下在经济上可行,使消费者采用不太可能。虽然发烧友GPU理论上可以利用板载NAND卸载来缓存大规模游戏资产,但高带宽闪存的成本结构会使已经昂贵的显卡变得过于昂贵。相反,高带宽闪存严格设计用于在服务器环境中扩展大语言模型上下文窗口和多智能体AI系统。