SK海力士与TetraMem及南加州大学合作开发基于忆阻器的边缘AI设备片上系统。

SK海力士、TetraMem和南加州大学研究人员开发了一款基于忆阻体的内存计算（IMC）片上系统（SoC），用于AI边缘设备。该芯片设计用于加速轻量级AI模型中的神经网络推理，功耗仅为高端GPU或NPU的一小部分。在很大程度上，这款SoC是一个概念芯片，其性能在理论最佳情况下峰值约为2.54 TOPS，比微软Copilot+的要求低16倍。

忆阻体内存计算通过直接在内存阵列内执行模拟计算来加速神经网络，从而减少数据移动和功耗。然而，深度卷积（DWC）——MobileNet等轻量级网络中的核心操作——执行独立的按通道过滤，数据复用有限，因此在传统交叉棒阵列上的映射效果不佳。为了解决这一限制，SK海力士、TetraMem和南加州大学的研究人员开发了一款SoC，既包含传统IMC交叉棒，也包含专门针对DWC优化的忆阻体IMC架构。

联合开发的SoC基于嵌入式RISC-V处理器，该处理器调度工作负载并集成了10个神经处理单元（NPU）。其中1个NPU专用于深度卷积，其余9个执行逐点和稠密操作。9个NPU中的每一个都包含一个256×256忆阻体交叉棒，执行模拟向量矩阵乘法（VMM），256个8比特DAC将数字激活转换为模拟电压，256个8比特ADC将模拟输出转换回数字值，以及用于读取、写入、编程和控制交叉棒的附加外围电路。DWC优化的NPU将其传统阵列替换为8个专用的252×28锯齿形交叉棒块，但保留DAC和ADC。SK海力士开发并制造了忆阻体器件，并使用其后工艺工程将电阻开关单元集成在65纳米CMOS电路之上。

DWC优化的NPU是整个SoC的关键特性。为了加速深度卷积，TetraMem用锯齿形拓扑替换了传统1T1R交叉棒中使用的直线选择线。因此，该NPU包含8个252×28交叉棒块，其对角线选择线激活跨越28列的252个存储单元，使28个独立的3×3卷积能够并行运行，同时将阵列的100%用于权重存储。其余9个NPU保留传统1T1R交叉棒用于1×1逐点和稠密层，并保持传统内存计算的吞吐量和能效。

为了演示该架构，研究人员为Visual Wake Words基准部署了定制的MobileNetV1Small神经网络。该网络包含约36,000个参数；所有深度卷积层映射到专用NPU，逐点层映射到其余NPU。

由于忆阻体IMC硬件本身执行无符号模拟向量矩阵乘法，输入和权重在执行前被量化为无符号8比特值。由于每个忆阻体器件的有效精度仅略大于2比特，设计采用了双子阵列补偿技术，将有效权重精度提升至约4比特。从概念上讲，这种方法类似于英伟达的NVFP4理念，两者都试图从低精度硬件中获得更高的有效精度。然而，实现方式根本不同：NVFP4依赖于数字浮点表示和缩放因子，而忆阻体SoC通过使用两个编程的子阵列补偿模拟编程误差来提高精度。

在精度方面，SoC实现了80.36%的端到端推理精度，与相应的4比特软件模型相匹配。就性能而言，SoC在每个NPU上提供0.254 TOPS的峰值吞吐量，在100 MHz时达到21.3 TOPS/W的能效，在400 MHz时达到11.9 TOPS/W。根据作者的说法，尽管采用较早的65纳米工艺制造，但这与已发表的基于SRAM的存内计算加速器相比具有竞争力。该SoC还超过了英伟达A100 INT8能效一个数量级，联合论文声称。

然而，MobileNet演示并未使用全部10个NPU。它使用一个专用DWC NPU、5个标准NPU用于逐点层，而让4个标准NPU闲置。该演示因此未能显示SoC总吞吐量（TOPS）、运行实际网络的持续吞吐量，或全部10个NPU同时饱和时的吞吐量。实际上，论文甚至没有透露全部10个NPU是否能同时使用。因此，2.54 TOPS的数字是高度理论性的。

SK海力士、TetraMem和南加州大学研究人员开发了一款基于忆阻体的IMC SoC，具有新颖的深度卷积加速器，可改进轻量级AI工作负载的交叉棒利用率。合作伙伴成功地使用陈旧的65纳米工艺技术制造了该芯片并使其工作，实现了21.3 TOPS/W的能效和与4比特软件模型相当的推理精度，尽管忆阻体的编程精度仅为约2比特。虽然该架构验证了该方法可行，但论文未公开SoC的完整性能，并且不清楚该芯片的10个NPU是否能够被充分利用。