d-Matrix声称其新芯片相比英伟达Rubin实现了20倍的带宽密度。

在AI推理工作负载中，存在两个截然不同的阶段：预填充（prefill）和解码（decode）。解码阶段是耗时最多的部分，因为它严格受限于内存带宽。无论可用的计算能力如何——这对预填充阶段有显著帮助——解码性能仍受制于内存吞吐量。为了解决这一瓶颈，Groq（其技术最近被NVIDIA收购）和d-Matrix等公司开发了配备大规模SRAM阵列的芯片，以提供卓越的内存带宽。如今，d-Matrix推出了一种新方法，从完全不同的角度、即计算层之下来解决带宽挑战。

这款名为Raptor的新型加速器利用了3D DRAM技术。与AMD第二代3D V-Cache类似，后者将一块SRAM缓存晶片置于Ryzen 9000 CPU核心下方以优化热性能，d-Matrix将其存储器直接堆叠在逻辑晶片下方。然而，Raptor并未使用SRAM，而是利用多达四层DRAM以最大化容量。虽然这种配置的密度低于高带宽内存（HBM），但d-Matrix声称其带宽密度约为NVIDIA即将推出的Rubin架构的20倍，同时每传输一吉字节数据的功耗降低了13.5倍。

这些指标直接解决了现代AI处理器面临的严峻限制，因为HBM已接近其物理极限。由于HBM堆栈位于硅中介层上与计算晶片相邻，带宽本质上受到芯片边缘可放置的I/O引脚数量有限制的约束。此外，沿中介层水平路由数据需要专用的接口驱动器（PHY），这会消耗大量电力，在高阶封装中往往高达数百瓦。Raptor通过采用36微米面对面键合技术，将TSMC N4逻辑晶片直接融合在DRAM堆栈之上，从而规避了这些限制。该设计完全消除了PHY，使电子能够跨越整个晶片面积垂直移动仅几微米的距离。结果是将I/O能耗降低至约0.37 pJ/bit，同时提供SRAM级别的带宽。

尽管Raptor每张卡32 GB的容量低于典型的HBM配置，但这种权衡符合其预期用途：即用于AI推理而非训练大型前沿模型。Raptor定位为介于超昂贵、低容量的SRAM块和高密度HBM堆栈之间，旨在进行横向扩展。d-Matrix计划将这些芯片部署在机架规模集群中，例如通过高速互连网络连接72张卡的设置。在这种配置下，总内存带宽线性扩展至每秒拍字节范围，实现了节点间参数的无缝分布，并支持数百万token的上下文窗口，在解码阶段不会出现瓶颈。

d-Matrix的性能预测非常雄心勃勃。除了架构图幻灯片外，详细规格仍然有限。该公司宣称，Raptor在为“3T级模型且上下文长度为1M”提供服务时，可为每位用户交付约每秒1,000个token的支持基准测试显示，一个完整的机架配置在32名并发用户运行GLM 5.2模型时，达到了每位用户每秒2,121个token；而在32名用户执行Kimi K3模型时，达到了每位用户每秒785个token。最近的Hot Chips演示主要突出了d-Matrix在逻辑下方堆叠DRAM的工程解决方案——这一概念虽不新颖，但带来了显著的制造障碍。截至目前，这些数据仅代表预测而非独立验证的结果，且尚未进行任何实时产品演示。尽管如此，d-Matrix已经出货了商业产品，使其区别于做出未经证实声明的早期初创企业。进一步的细节和第三方基准测试结果对于验证Raptor能否达到其既定目标至关重要。