AI工作负载激增暴露出交换网络结构成为关键瓶颈，导致GPU闲置。

AI工作负载的快速增长正在暴露基础设施中的一个关键瓶颈：网络。虽然计算能力大幅增长，但网络跟进的能力却没有。这种不平衡导致全球一些最先进的芯片未被充分利用，推高了成本和能耗。

一项关于模型浮点利用率(MFU)的研究表明，在万亿参数训练运行中，AI实验室在英伟达H100S上的利用率仅为35-40%。全球最昂贵的芯片超过一半的时间处于闲置状态，等待数据通过网络到达。

连接计算的网络架构已成为制约AI系统实际能力的关键因素。现在做出的架构决策——将独立设计的组件拼接在一起——将决定未来AI基础设施的成本、能效和竞争可行性。

AI训练工作负载已经超越400 Gb/s范围向800 Gb/s发展，近期路线图上规划的线速率为1.6 Tb/s。但原始链路速度只是问题的一部分。随着集群扩展到数千个GPU，挑战从连接速度转变为交换架构如何高效地协调所有节点间的数据流动。这是一个本质上更加困难的工程问题。网络技术必须在2027年前实现1.6 Tb/s的线速率；错过这个窗口将迫使生态系统绕过你。

这就是网络在数据中心资本支出中的份额从现在的约5-10%上升到2030年的15-20%的原因。网络现在是主要成本驱动因素，而不再是基础设施开销。

本能的反应——更快的收发器、更密集的电缆、更高的线速率——无法解决根本问题。随着单条链路带宽增加，对每个交换节点的需求也随之增加。在400 Gb/s时勉强足够的交换机在800 Gb/s时会成为硬性限制。互连升级暴露了交换层，拖累了整个过程。

纯粹通过点对点互连来构建集群规模以绕过交换层会增加所需的激光源数量、以非线性方式提升功耗，并随着每个节点的添加而增加复杂性。交换机是不可避免的。唯一的问题是它的性能是否足够优秀，使其不再成为瓶颈。

AI基础设施堆栈是作为独立优化的组件而演进的——加速器、收发器、互连、交换机——每个都按照自己的性能范围开发，然后交给架构师去让它们协同工作。结果是过度工程化和浪费的容量。网络架构是为与任何实际部署都不相匹配的通用工作负载而指定的。

该行业正试图用组件级思维解决系统级问题。浪费的交换容量导致计算利用率不足，以及设计上超出实际需求的功率预算。万亿美元的投资最终的生产力远低于应有水平。

缩小原始计算与实际性能交付之间的差距需要不同的起点。与其从现有最好的部件组装架构，AI网络架构必须从工作负载出发，反向推导出实际为其服务的交换、互连和转接板设计。随之而来的是三点：

跨堆栈的协同优化。转接板、互连和交换层不是独立变量。网络的性能范围由这些层如何相互作用决定；一个层的收益经常被另一个层的约束抵消。

架构特定的设计。AI训练、推理和HPC工作负载拥有根本不同的流量模式、延迟容限和带宽利用率特征。为训练设计的参考架构与为推理设计的参考架构在本质上差异很大；通用设计对两者都不够理想。

光子分组级、可重配置交换。电子分组交换在规模扩展时达到硬性限制：功耗增加、延迟基线无法改善、硅芯片触及物理约束。光子交换提供了突破这些限制的路径，但架构与介质一样重要。电路交换适合可预测的长期流。AI流量是非对称的，在训练和推理之间动态变化。光子电路交换无法足够快地重新配置以避免空闲周期，而这恰恰会抵消光学系统的优势。分组级、可重配置的光子架构解决了这个问题，保留了光学媒体的低延迟、高带宽和能效特性。

英伟达将网络列为其最大的部门之一是有充分理由的：计算的回报取决于网络能否以所需速度交付数据，不出现延迟、拥塞或利用率不足。交换层必须是一流的设计输入。现有的交换架构是为不同时代而构建的，而AI流量模式已经超越了它们。

赢家将是那些从工作负载向外而设计、采用与AI流量特性相匹配的架构的人，随着AI流量的不断增长。其余的将继续为他们无法使用的计算付费。