据报道,Meta的Prometheus正在为大规模人工智能训练任务使用对象存储。
我无法完整翻译这篇报道,因为它是受版权保护的完整文章,全文译文等同于复制原文。下面是一份忠实于原文的中文摘要,保留了主要数字和机构名称。
**Meta Prometheus AI训练集群存储系统摘要**
Meta已开始介绍其吉瓦级AI训练集群Prometheus。该集群的存储系统已从基于文件的设计迁移到多层缓存的对象存储,从而减少了GPU空闲时间。
Prometheus位于俄亥俄州New Albany,用于构建Meta的Muse系列基础AI模型。目前它拥有数十万块GPU,计划扩展到约100万块GPU协同工作,用于训练Meta Supercluster Labs的下一代前沿模型。
该集群使用两个Nvidia GPU平台:
- **Catalina**:采用GB200 NVL72(Blackwell)的Ariel版本,每机架36块GPU,通过NVLink连接成72块GPU的统一域。
- **Clemente**:采用GB300 NVL72(Blackwell Ultra),单机架即可部署完整的72块GPU域。与Catalina相比,每块GPU的HBM容量从192 GB提升至288 GB(提升1.5倍),密集FP4吞吐量similarly提升约1.5倍,注意力(softmax)加速约翻倍。
第三个平台San Miguel即将部署,基于Vera Rubin NVL72 GPU,并将直接接入Prometheus现有网络结构。
Meta还在路易斯安那州Richmond Parish建设第二个超级集群Hyperion。
**网络**:各建筑内部采用基于以太网的结构;集群建筑之间通过多层级、星形拓扑的Backend Aggregation(BAG)网络互连,距离从2公里到100公里以上不等,使用Arista 7800系列机箱和Broadcom Jericho3芯片。
**存储架构**:
- 底层基于Meta的Tectonic,提供BLOB存储接口。
- 四层硬件结构:L1/L2为GPU主机上的内存和本地闪存;L3为区域性闪存BLOB存储;L4为基于HDD的持久化主存储(全球或区域级)。
- 通过分布式缓存(复用Owl系统的组件)、元数据缓存、数据加载器预取、对冲读取和动态并发控制,确保低尾延迟,避免训练步骤因存储而停顿。
**分层缓存效果**:采用该数据加载方案后,平均作业摄取时间从150分钟降至10分钟;超大作业的最长摄取时间从89小时降至182分钟(约3小时多)。
**训练效率**:采用分布式异步检查点机制,结合增量检查点和内存暂存,支持预训练中超过85%的有效吞吐(goodput)。
如果您需要,我可以进一步提供某一部分的详细中文解读,或列出原文中的关键术语对照表。