三星在Hot Chips 2026上展示了业界首款LPDDR5X-PIM，通过在内存中直接嵌入逻辑单元，使AI推理速度提升3.01倍并实现8倍带宽。

在2026年Hot Chips大会上，三星展示了业界首款LPDDR5X-PIM（存内处理）模块，将计算逻辑直接集成到低功耗DRAM中。该架构基于2021年通过AMD加速器中的HBM堆栈首次演示的PIM技术，将计算单元放置在DRAM单元旁边，以在本地执行基础操作。通过在内存子系统中处理这些计算，三星消除了处理器瓶颈，显著加速了AI推理工作负载。

在初步基准测试中，三星报告称，与标准LPDDR5X相比，LPDDR5X-PIM使模型运行时间缩短了2.28倍，每秒令牌数提高了3.01倍。该技术还实现了八倍的带宽扩展。虽然LPDDR5X-9600的典型峰值为76.8 GB/s，但通过最小化数据移动并将基本逻辑保留在内存堆栈中，PIM集成将有效带宽提升至614 GB/s。

向存内处理的战略转变解决了AI硬件中关键的成本和效率限制。正如美光此前在Hot Chips上警告的那样，HBM晶圆需求持续加剧。内存已构成AI芯片费用的大部分，且其成本份额稳步扩大。结合DDR5和HBM巨大的功耗要求，LPDDR5X成为采用PIM的理想目标。三星最初于2023年随LPDDR5X-PIM概念一起推出了HBM-PIM；此次Hot Chips演讲标志着后者从原型转变为经过验证的产品。该公司还在推进LPDDR6X-PIM，计划在今年晚些时候推出初始JEDEC规范。

三星的LPDDR5X-PIM架构为每个存储库分配了一个专用的PIM单元，这是对HBM-PIM设计的结构改进，后者需要牺牲存储库以适应逻辑。在每个存储库中，内存阵列、比例寄存器文件（SRF）和源寄存器文件为并行乘加（MAC）树提供输入。计算输出——无论是整数还是浮点数——都存储在向量寄存器文件（VRF）中。为了保持与传统DRAM控制器的兼容性，该模块可以在单库（传统DRAM）或多库（PIM）模式下运行。三星通过地址对齐模式（AAM）解决了传统DRAM重排序的限制，该模式将DRAM地址映射到MAC指令，并根据行/列地址而非指令寄存器文件分配VRF/SRF地址。

在演示数据流期间，三星概述了在多库PIM模式下使用预加载权重参数的MAC操作。512字节的FP8激活数据被划分为16个256位数据包，写入各个存储库并记录在SRF中。PIMX_RD命令从DRAM存储库检索权重数据，并将其与SRF数据一起馈送到MAC树。完成后，每个操作的输出向量被写入VRF。随后的PIMX_WR命令将结果传输回DRAM存储库。凭借1-kbit的VRF容量，最多可同时存储四个计算。最后，主机系统切换到单库模式并执行16次读取以检索聚合输出。

在物理层面，LPDDR5X-PIM模仿标准LPDDR5X封装，采用561球阵列。模块具有两个64位等级和16 GB容量，由总共八个介电层构建（每个等级四个）。在测试中，三星部署了一款边缘AI加速器——可能是早期的Gaia SoC——来运行拥有80亿参数的Llama 3.1。与会者注意到输出精度存在细微差异，三星将其归因于正在进行的优化工作。该公司强调，尽管准确性改进仍在继续，但性能优势将保持不变。

尽管增加了计算逻辑，三星表示整体功耗仍将低于传统DRAM。虽然由于PIM操作的突发性，峰值功耗将“高得多”，但减少主机和内存之间冗余的数据传输可带来净节能效果。“我们没有显著的功耗增加，”三星的Karam Hwang表示。历史上局限于消费电子产品的LPDDR5X最近已扩展到服务器和加速器市场， notably通过SOCAMM2模块为Nvidia的Vera CPU供电，并为Intel的Crescent Island AI加速器供电。随着PIM集成的加入，三星瞄准服务器、客户端和移动细分市场，定位LPDDR5X-PIM以加速便携式设备和较低级别加速器（如Crescent Island）上的边缘AI工作负载。