NetApp推出Novus存储架构,目标泽字节级容量并提供100 TB/秒聚合带宽。
NetApp本周推出了Novus,这是一种新的存储架构,设计用于处理泽字节级别的数据,并通过NFS和并行NFS提供100TB/秒的聚合带宽——足以让数十万个GPU保持高效运行。
"AI工厂的需求是严酷的,"NetApp首席平台和技术官Arindam Banerjee在最近的博客文章中写道。"单个GPU可能需要高达2GB/s的吞吐量才能保持运行,而在50,000个GPU上维持这一性能需要100TB/s的累积带宽。传统存储阵列只能提供40到80GB/s。因此,要用传统阵列达到100TB/s,意味着要部署超过一百个阵列,每个都有自己的命名空间、故障域和管理开销。"
这种情况对AI工厂的运营商来说是不可持续的,他们仅仅维护存储基础设施就面临着不断增加的时间和成本。在超级计算中,存储通常占总系统成本的20%左右。由于命名空间分散、系统孤立、网络连接受限,传统架构强制AI工厂投入额外资源,仅仅是为了防止昂贵的GPU和加速器处于闲置状态。
"AI团队不应该为了决定数据存储位置、要挂载到哪个集群、如何重新平衡工作负载或如何跨碎片化基础设施协调检查点而需要成为存储工程师,"NetApp在Novus解决方案说明书中指出。
NetApp的工程师通过重新思考分布式存储架构的核心要素来解决这个问题。他们的目标不是简单地添加控制器,而是针对阻止存储扩展到泽字节级别的根本瓶颈:元数据。
关键创新是将存储元数据层与数据层分离。Novus不再通过一组固定的控制器路由所有元数据流量,而是允许每个GPU客户端直接读取和写入底层存储的数据,消除了可能限制大型系统的流量。
根据Banerjee的说法,这种分离允许元数据和数据独立扩展。"元数据是一个瓶颈,甚至在容量或带宽限制GPU活动之前就已经出现了,"他写道。"每一次打开、查找和布局请求都落在试图服务数据的相同控制器上。工作区导入涉及数百万次小文件操作。检查点是由每个节点同时发出的特拉字节级顺序写入,直接跟在突发的元数据流量之后到达。当您扩展集群时,元数据操作也随之扩展,直到不可避免地文件系统变慢或停滞。"
初始的Novus实现运行在NetApp的高性能AFF A90存储上,利用pNFS/NFS版本4.2、Linux客户端和ONTAP存储操作系统。NetApp创建了Novus数据主管(Data Director),这是一个软件组件,可以将元数据流量卸载到独立可扩展的、运行在标准x86计算上的软件定义控制层。"客户端向数据主管询问文件位置,收到布局信息,然后直接与存储通信,"Banerjee解释道。"两个平面互不阻塞,数据以线速率运行。"
泽字节级别的统一命名空间带来了重大运营优势。"Novus的架构允许运营商添加容量和性能,而不会强制应用程序更改、破坏性重新挂载或租户中断,"Banerjee写道。"Novus不是让存储拓扑对每个工作负载可见,而是呈现为一个为AI工厂规模构建的一致的数据环境。"
NetApp的目标是AI工厂——现在正在建设的大规模数据中心,将容纳数十万到数百万个AI加速器,消耗数百兆瓦到吉瓦的电力。这些设施使用传统架构必然会面临存储瓶颈。
"让我们达到AI时代的那些架构将无法满足我们在继续加速创新时对它们的需求,"洛斯阿拉莫斯国家实验室计算技术高级主任Gary Grider在Banerjee的博客文章中表示。"随着AI工厂继续扩展,我们将看到数十万个GPU击中单个命名空间,创建大规模的元数据操作积压,这将减慢甚至停滞文件系统。Novus是一个首创的架构,可以独立扩展元数据层和数据层,使AI工厂能够在不受数据访问能力限制的情况下增长。"
NetApp在NetApp INSIGHT 2026大会上发布了Novus,这是该公司在拉斯维加斯举办的年度会议。该公司还推出了NetApp Platform中的新混合多云功能,提供对混合存储集群更好的控制、自主运营、新的AI ChatOps界面、主权感知存储服务以及与Nutanix虚拟化环境的集成;NetApp AI数据引擎(AIDE)中的新零复制数据激活功能,实现原位数据访问,同时保持治理、复原力和开放性要求;以及与SAP、Oracle和Supermicro的扩展合作关系和新功能。