VDURA V12为超大规模GPU密集型工作负载设计企业存储架构,应对使加速器保持满负荷利用的挑战。
云运营商正在大力投资GPU,需要保持其高效利用。存储对这个方程式至关重要——具体来说,就是存储系统能以多快的速度在GPU之间移动数据。在某些AI集群中,存储已经成为一个瓶颈。
超大规模云厂商多年来一直在处理类似的存储挑战。VDURA现在想通过V12将这些经过验证的方法引入AI基础设施,V12现已正式推出,并获得超微硬件的认证。
V12的一个关键方面是更高效地使用昂贵的闪存存储。活跃的训练集和热数据可能需要NVMe性能,但较老的检查点和归档数据集通常不需要。VDURA使运营商能够使用这两个层级,而无需在不同的存储系统之间分割数据。
VDURA称之为上下文感知分层。它在闪存和硬盘之间移动数据——热数据保留在闪存上,而冷数据迁移到磁盘。从用户的角度来看,他们看到的是一个统一的存储池。这意味着公司可以避免为整个系统的闪存付费。
V12中的多租户功能显然针对云运营商。VDURA的客户共享基础设施,但有不同的性能需求和安全要求。通过V12,运营商现在可以使用独立的命名空间、服务质量(QOS)策略、加密密钥和网络控制来隔离租户。
V12增加了Kubernetes CSI支持、REST API和基础设施即代码工具——为运营商提供了多种管理存储的方式。更重要的是,这些功能与运营商可能已用于GPU管理的工具集成,减少了对独立操作工作流的需求。
推理呈现另一个挑战。Kubernetes pod可能停止、重新启动、崩溃或被替换。在这些情况下KV缓存会发生什么?V12通过KVCache Writeback解决了这个问题,它在pod更改期间保留缓存,并允许在之后恢复。这意味着模型不必从头开始重建上下文,从而减少首个token的时间和GPU工作负载。实际收益将取决于具体的工作负载。
超微的认证为客户提供了经过验证的与V12兼容的硬件配置。V12运行在配备AMD EPYC处理器、NVMe存储和混合容量配置的超微Building Block系统上。该架构可从几个GPU扩展到100,000个GPU,存储节点通过RDMA与GPU服务器通信,保持数据移动快速,无需单独的后端网络。
在大约20 PB时,闪存和容量存储之间的平衡变得重要。VDURA提供灵活性——客户可以将系统的大部分保留在较便宜的容量存储上、全部使用闪存,或根据工作负载在两者之间选择配置。
VDURA声称性能功耗比是竞争系统的两倍以上,总体拥有成本在类似数据处理速率下比竞争系统低60%以上。这些是公司自己的数据;实际节省将根据工作负载和配置而变化。
首席执行官Ken Claffey将V12定位为对持续的运营商需求的回应:保持GPU的供应、隔离租户、自动化存储管理和添加容量而无需部署第二个系统。他将V12描述为超大规模云厂商内部使用的混合舰队、软件定义方法的打包版本。
更广泛的趋势是存储评估方式的转变——不再把存储作为独立产品,而是更多地看其对GPU集群经济学的影响。对于云运营商来说,目标不仅仅是更多容量,而是在不构建同样昂贵的存储层的情况下,保持昂贵的加速器充分利用。V12是VDURA在两个目标上的尝试。未来几个季度的客户部署将证明它是否成功。