OpenAI的Stargate基础设施项目实施'哑'网络架构，简化主干路由以优先考虑GPU集群性能。

在Mark Handley的观点中,你永远不应该小看以太网。作为OpenAI核心网络团队的成员和以太网多路可靠连接(MRC)协议的关键架构师,Handley在这个角色中带来了深厚的专业背景:他在Broadcom的AI网络架构工作帮助为超以太网联盟(UEC)奠定了基础。

"以太网总是很可能成为一个大玩家,整个行业的规模推动了一种通用的、共享的技术的发展,"Handley说。"作为传输协议,我们希望MRC在其特定领域内处于同样的位置。"MRC建立在融合以太网上的远程直接内存访问(RDMA)(RoCE)和800G(800千兆位每秒)以太网接口之上。

由OpenAI在今年早些时候正式披露,这个传输协议通过更高的GPU效率和可靠性加速了大规模AI模型训练。该协议是在AMD、Broadcom、Intel、Microsoft和Nvidia的支持下创建的,目标是使巨大的GPU集群即使在网络故障发生时也能像一台紧密同步的机器一样运行。

"同步预训练是AI训练的第一阶段,是计算量最密集的部分,"Handley解释道。"当你进行这种AI训练时,所有人都在完全相同的时间开始通信,这是你可能对网络施加的最坏工作负载,因为没有统计多路复用的余地。"

传统上,系统依赖RDMA,其中每次通信通过网络走一条路径并固定在单一链路上。这种方法产生了碰撞风险:当伪随机选择的路径在一条链路上碰巧重合时,操作会大幅减速。"如果其中10个碰撞,那么每个的速度就是原来的十分之一,"Handley说。

MRC通过将每条路径分解成许多小数据包来克服这一瓶颈,每个数据包通过网络中的不同路由。当每次传输都跨越数百条路径时,"你最终会非常平顺地对网络进行负载均衡"，通过避免核心中的拥塞。该协议还跟踪每条路径的状况,避免使用拥塞的路由,直到它们恢复。"如果其中一条链路失败,对该数据流的影响非常小,"Handley指出。"在第一层顶层交换机之上发生的任何网络故障基本上对我们没有影响。"

除了流量模式,MRC从根本上改变了网络控制平面。通常,交换机运行动态路由协议来确定哪些链路可操作并绕过故障。但通过一个端点驱动的系统,该系统跨许多路径喷射数据包并自主避免故障,路由器不再需要彼此通信。IPv6分段路由帮助端点选择精确路径,网络适配器指示数据包的准确去向。

"所有交换机要做的就是盲目地遵循它们的指令,"Handley说。"这将我们网络中的一整套复杂性移除了,我们不再需要。通常当你扩大规模时,会越来越关心网络在绕过故障方面的智能。实际上,我们做的恰好相反,使网络变得笨拙。它甚至不试图绕过故障,因为MRC可以为我们绕过故障。"

这些自愈特性从根本上改变了OpenAI与基础设施合作伙伴(如Oracle和Microsoft)的协调方式。因为MRC可以在微秒内检测到失败或退化的路径并立即停止使用它们,网络维护不再需要与运行的训练任务紧密同步或持续的人工监控。"以前,我们需要与运行这些任务的人协调,以确定是否是重启交换机的好时机,"Handley说。"现在它说你可以直接重启一个交换机。无所谓。MRC不会介意。所以这给了我们更多的灵活性来运行这些真正庞大的网络,而只需要小规模团队。"

MRC还通过将800G接口分成更小的链路来减少硬件复杂性,允许一个接口连接到八个不同的交换机,并创建八个并行的100G平面而不是单一网络。该系统可以链接512条较小链路,而不是64条高速连接。这意味着可以使用仅两层交换机连接超过130,000个GPU,而不是传统的三层或四层,减少功耗和所需的交换机及光学组件数量。"失败的东西实际上更少,这很有帮助,"Handley解释道。

"它也让我用中间只一个交换机就能连接更多GPU,这给了我更低的延迟,"他补充道。"但我真正关心的是现在从同一个GPU,我有八条立即可用的路径。所以如果我失去了直接连接GPU的链路,我仍然有七条路径可用。我们停止使用那条特定路径,但我们可以非常快速地恢复这些数据包,很快就恢复到满速。这基本上意味着我们不再真的需要担心故障。"

如今,MRC已经部署在OpenAI的所有最大超级计算机上,包括Oracle Cloud Infrastructure构建的超级计算机和Microsoft的Fairwater超级计算机。包括Nokia、Hewlett Packard Enterprise和Arista Networks在内的基础设施供应商都推崇MRC的优势。Dell'Oro Group的研究预测以太网到2030年将在数据中心交换机销售中创造近800亿美元的收益。Handley承诺未来的迭代版本和与OpenAI合作伙伴的持续协作将"继续推进这一事业"，在持续的AI建设中。"我在多年来见证了互联网上许多令人兴奋的变化,但我们现在试图做的事情的疯狂规模真的很困难,想出解决它们的正确方式是一个巨大的挑战。这非常有趣,"他说。