光子初创企业如iPronics正在筹集数亿美元资金,开发比传统电气路由更快、更密集且更便宜的光学电路交换机。
如果你认为每机架72个GPU已经足够密集,那么英伟达(Nvidia)及其他厂商的下一代设计将在单个庞大系统中塞入数百甚至数千个加速器。但为了实现这一切,它们将需要大量的光学技术,其原理让人联想到老式的电话交换机。
这一现实推动了光子学领域的一系列投资热潮,涵盖早期初创企业到成熟的光学设备和光纤制造商。仅在3月份,英伟达就向Coherent、Lumentum和Marvell各投入20亿美元,总计60亿美元,以加速其光学技术的发展。
这部分资金专门针对光电路交换(OCS)技术。周三,英伟达与Maverick Silicon和Light Street Capital合作,额外出资1.25亿美元,用于支持iPronics第二代OCS架构的开发。
光电路开关仅在字面意义上充当“开关”角色。与博通(Broadcom)Tomahawk或Marvell Teralynx ASIC不同,OCS设备无法进行数据包交换。相反,这些光电设备充当了现代版的电话交换机。高速执行器——利用微型镜子、压电机制、液晶显示器(LCD)或类似技术——几乎瞬间重新配置网络,取代了人工手动插接连接的方式。
尽管OCS在现代GPU部署中仍不常见,但它长期以来一直用于专门的AI集群。例如,谷歌多年来一直在其TPU集群中依赖OCS技术。
传统上,谷歌的TPU Pod采用二维和三维环面拓扑结构,允许加速器在大型网格中进行通信,而不是依赖基于包交换的网络架构。网格网络的代价可能是芯片间延迟较高以及结构僵化。它们缺乏固有的灵活性;添加、移除或更换故障加速器需要 deliberate 的网络重新配置。
在谷歌的案例中,解决方案就是光电路交换。通过OCS设备以光信号传输TPU集群流量,该公司可以动态调整Pod大小,并近乎热插拔地替换故障加速器。可以说,光电路交换使谷歌能够运营业界最大的单一计算域之一,使其网络架构摆脱了传统包交换基数限制带来的约束。
然而,现有的OCS设备存在显著局限性。许多设备依赖微机电系统(MEMS),通过物理移动微型镜子来路由连接。虽然功能正常,但这种方法速度较慢,典型的重新配置时间约为100毫秒。此外,由于内部机制和连接器需求,OCS设备往往体积庞大。
光子学初创公司iPronics旨在通过其所谓的“第二代”OCS克服这些缺点。新设计摒弃了MEMS和基于LCD的系统,转而采用无运动部件的硅光子架构。该公司声称其技术实现了亚毫秒级的重新配置时间,通过在活跃的计算周期内掩盖延迟,从而实现工作负载中途的拓扑变更。
iPronics还报告称,其端口密度高于第一代设计。例如其iPronics One芯片支持32个端口。该公司目前正在开发72端口和144端口的变体。基于硅光子技术构建的这些芯片占用的空间显著减少。iPronics预计,通过利用多芯片模块和高密度连接器,它可以在单个机架单元中容纳多达720对端口。相比之下,现有的高基数OCS交换机(如Coherent的300端口设备)通常占用八个或更多机架单元。
尽管具有亚毫秒级延迟,OCS在网络路径相对稳定的环境中表现最佳。这与英伟达的NVL72或AMD的Helios等现代机架架构形成鲜明对比,后者优先考虑单跳全互联连接性和极高的路径多样性。这两种方法并非互斥。虽然iPronics拒绝披露客户正在部署的确切拓扑结构,但几种混合用例正在出现,例如结合网格网络与交换式架构的环境。
当英伟达在2024年推出其首个机架级计算平台时,首席执行官黄仁勋将该72个GPU的系统描述为一个单一的单体加速器。这是通过18个超快NVLink Switch芯片以全互联配置布线实现的,确保任何GPU与其他GPU之间仅相隔一跳。乍一看,这种架构似乎与OCS不兼容,但集成是可行的:基于铜线的交换式架构可处理机架内通信,而由OCS管理的网格则处理机架间流量。
然而,更直接的应用在于管理英伟达迅速扩展的大型处理单元(LPU)集群。如前所述,每个万亿参数需要八个LPX机架,其中包含超过2,000个加速器。由于这些芯片主要利用流水线并行性——跨芯片顺序处理数据——它们天然适合由OCS协调的网格拓扑。这将大大简化新兴云提供商(如Nebius)在部署不同模型规模时的集群扩容。
连接这些庞大的系统需要大量的光纤电缆。为解决这一问题,另一家初创公司Mixx Technologies最近发布了一种新型连接器,能够在单个机架内终止数万根光纤。Mixx的SxC连接器每根线缆容纳64根光纤,超过了标准的MPO限制(8至24根)。该公司估计,使用SxC连接器,它可以在单个OCP机架单元中容纳384个64光纤端口,基于400 Gbps SerDes速度,可提供614 TB/s的聚合带宽。®