Huawei正在部署专为超大规模AI数据中心设计的OceanStor KV缓存存储架构。

华为已发布OceanStor M900，这是一款可扩展的全闪存存储集群，可为其Atlas 960 SuperPods（与英伟达SuperPOD设计相当的机架级AI加速器）提供高达64 PB的KV缓存基础层。

英伟达的AI数据平台参考设计将其GPU、BlueField网卡、Spectrum-X交换机和AI软件与其支持GPUDirect、RDMA以及通过Dynamo软件和CMX方案扩展KV缓存的存储系统集成在一起。该架构采用多层设计：GPU高带宽内存（HBM）作为最高且最快的层级，其次是相关的x86服务器DRAM作为第二层，服务器本地SSD作为第三层，而通过智能BlueField-4网卡连接的NVMe SSD则 housed 在专用闪存存储服务器中作为3.5层。L3.5层实现了到GPU HBM的单次网络跳转，从而提供微秒级延迟。

如今，华为正以其专为超大规模AI数据中心定制的SuperPods挑战英伟达的SuperPOD架构。这些系统旨在处理拥有十万亿参数的模型以及超过一百万个token的上下文窗口，这意味着单个加速器的HBM无法容纳所有必需的键值token，因此需要强大的缓存方案。

据该公司称，单个Atlas 960E SuperPod可扩展至4,096个NPU，提供8 EFLOPS的FP8计算性能、高达1 PB的HBM容量以及256 TB的统一内存池。通过部署5,500台利用近封装光学技术（NPO）的Hi-ONE单元，与之前连接所有NPU所需的48,000个传统800G光模块相比，华为将功耗降低了550千瓦以上。这种光学方法还将系统的无故障运行时间延长了一倍，实现了99.8%的系统可用性。

SuperPods采用多层KV缓存策略，M900为L3.5层提供PB级的KV缓存。它通过光网络在每个集群中提供高达4 PB的共享L3.5 KV缓存容量和40 TB/sec的聚合带宽，为每个NPU提供TB级的KV缓存容量。华为声称，在典型的AI编程场景中，该架构使推理集群的token吞吐量翻倍，并将首token时间（TTFT）减半。

声明中的40 TB/sec带宽比同类解决方案提高了1.5倍，尽管华为并未提及具体的竞争对手。行业分析认为，这泛指DDN、Everpure、IBM Storage Scale、MinIO和VAST Data等系统，这些系统的集群级带宽通常在10–25 TB/sec范围内。

M900采用集成架构，将CPU、网络控制器和NAND控制器整合到一个单元中。这种设计使SuperPod NPU能够直接以单次跳转的方式连接到SSD，将访问延迟从毫秒级降低到约60微秒。

华为董事会副主席兼轮值董事长王军表示：“OceanStor M900还采用混合介质和优化保留算法，将SSD读写寿命延长了16倍。这确保了更高的KV缓存命中率，并从根本上保证了长期的稳定性和可靠性。”

更详细地说，华为指出M900采用了KV感知自适应存储技术，该技术可以预测每个KV缓存数据段的预期寿命和价值。基于这些预测，系统会在不同的介质层（包括片上内存、DRAM和SSD）之间调度和放置数据。这种优化的放置和保留策略允许SSD每天承受高达24次驱动器写入（DWPD）——这是一个相当高的数字——声称SSD耐久性增加了16倍，并支持三年稳定运行，同时大幅减少驱动器更换次数。

华为尚未发布M900的官方数据表或技术背景资料。因此，有关节点机架单元尺寸、控制器规格、驱动器数量和容量、集群节点数量以及其他架构细节仍未公开。

华为的昇腾神经网络处理器（Ascend NPUs）是专门为AI工作负载从头设计的，这与起源于图形处理器的GPU不同。它们采用华为的达芬奇架构，具备立方体（矩阵）和向量核心，并支持FP8和FP4等低精度格式，以加速大模型的推理和训练。当通过华为的全光互连UnifiedBus扩展到大规模系统时，数千到数十万个NPU作为一个单一逻辑机器运行。近期及即将推出的产品，包括由昇腾950PR驱动的Atlas 350以及即将发布的Atlas 960 SuperPods，在中国市场被定位为英伟达GPU的可行替代方案。