NVIDIA는 Hot Chips 2026에서 현재 인터커넥트 한계를 넘어 AI 팩토리 네트워크를 확장하기 위해 설계된 Spectrum-X 멀티플레인 이더넷 아키텍처를 공개했다.
NVIDIA는 Hot Chips 2026에서 Spectrum-X 이더넷 멀티플레인 네트워크 아키텍처를 발표하며, 수천 개의 GPU에서 반백만 개 GPU 규모로 AI 팩토리 네트워킹을 확장할 계획을 상세히 소개했습니다. 세션 내내 AI 팩토리 플랫폼 프레임워크가 반복적으로 언급되었으며, 이는 해당 아키텍처가 NVIDIA의 적극적인 구축 현황을 반영하고 있음을 강조했습니다. NVIDIA는 AI 팩토리를 목적에 맞춘 다섯 가지 전용 네트워크로 구분합니다: scale-across, scale-in, scale-out, scale-up, 그리고 AI 컨텍스트 스케일입니다. 이번 발표에서 새로이 부각된 것은 scale-in으로, 이는 Broadcom가 Thor Ultra를 선보인 직후 등장한 개념입니다. 핵심 주장은 단일 범용 파브릭이 모든 다섯 영역을 효과적으로 지원할 수 없다는 것이며, 이는 전체 아키텍처의 기초 전제를 형성합니다.
NVIDIA는 자체 공동 패키징 광학 솔루션이 이제 양산 단계에 들어섰음을 확인했으며, Astra, scale-in, BlueField-4 뒤에 숨겨진 전략적 근거를 설명했습니다. scale-up 네트워킹은 NVLink 위에서 작동하며, NVL72 랙은 NVLink 스파인과 스위치 트레이를 결합하여 NVIDIA가 메가와트당 토큰 처리량 측면에서 선도적인 성능을 자랑하는 72-GPU scale-up 도메인을 구성합니다. 엔터프라이즈, 하이퍼스케일, 서비스 제공자 네트워크는 각각 고유한 스파인 설계를 사용하지만, NVIDIA는 AI 팩토리가 범용 토폴로지를 재사용하는 대신 목적에 맞춘 이더넷을 필요로 한다고 주장합니다.
Spectrum-X는 scale-out 이더넷을 위한 NVIDIA의 기가스케일 솔루션입니다. 동사는 102.4T 스위치 시스템과 1.6T SuperNIC 간에 RDMA 대역폭이 1.6배 증가하고, 멀티테넌시가 2.2배 개선되며, 대역폭 지터가 1.3배 감소한다고 주장합니다. 이전 MRC RDMA 전송 프로토콜 분석을 바탕으로, NVIDIA는 고립된 장치보다는 종단간 시스템 접근 방식을 통해 지터를 해결하는 것을 강조합니다. 주요 지표는 DeepSeek V3 다중 작업 학습 실행에서 도출된 것으로, 멀티테넌트 AI 팩토리 내에서 학습 성능이 1.9배 향상되었음을 보여줍니다. 소음이 많은 공유 환경에서는 상용 이더넷의 단계별 시간이 Spectrum-X 곡선을 초과하며, 80단계 이상에서 성능 격차가 벌어집니다. NVIDIA는 이러한 차이를 저지터 통신과 테넌트 노이즈 격리 때문으로Attribute합니다.
극도의 공동 설계(NCCL) 성능에서 가장 두드러지게 나타납니다. Nemotron Ultra 사전 훈련 중 기울기 all-reduce는 14배의 우위를 보였고, 토큰 디스패치는 3.5배에 달했으며, 기울기 reduce-scatter와 병렬 행렬 곱 모두 상용 이더넷 대비 2배의 성능을 기록했습니다. 전통적인 클라우드 아키텍처와 달리 scale-out AI는 광학 기술에 크게 의존합니다. NVIDIA는 AI 팩토리에서 컴퓨팅 파워의 10%가 광학 부품에 할애된다고 추정하며, 이는 기존 클라우드 데이터센터보다 훨씬 높은 비율입니다. Spectrum-X 이더넷 포토닉스는 이러한 전략의 양산 준비 완료 구현체를 나타냅니다. NVIDIA는 마이크로 링 변조기가 탑재된 공동 패키징 광학 칩을 양산에 투입했으며, TSMC Coupe 공정을 기반으로 3D 적층 실리콘 포토닉스 엔진을 개발했습니다. 동사는 이러한 혁신이 레이저 개수를 4개 줄이고, 전력 소비를 낮추며, 평균 무고장 시간(MTBF)을 10분의 1로 축소한다고 주장합니다. NVIDIA는 "100G SerDes는 작년의 물건이다"라고 말하며, 바로 직전에 Hot Chips에서 Broadcom가 100G SerDes Thor Ultra를 선보인 것에 이어 발언했습니다.
현재의 하이퍼스케일 클라우드는 일반적으로 랙 상단 스위치(TOR) 토폴로지부터 시작됩니다. NVIDIA는 이를 AI 팩토리에서 극복하고자 하는 목표인 2k 규모의 기준선으로 식별합니다. Multi-rail은 진화의 첫 단계로, 1.6T/GPU scale-out 대역폭으로 작동하는 8k Rubin GPU를 시연했습니다. 이 아키텍처는 각 포트가 1.6T인 100T 스위치를 사용하여 트래픽을 4개의 레일에 분배하며, NIC의 전체 대역폭이 스위치 포트에 직접 연결되도록 보장합니다. NVIDIA는 이어 멀티플레인 토폴로지를 소개했습니다. 전체 레일을 전용으로 사용하는 multi-rail과 달리, 멀티플레인은 파브릭을 분리하여 스위치 하드웨어를 공유하는 플레인으로 나눕니다. 이를 통해 하나의 NIC가 여러 스위치에 동시에 연결될 수 있습니다. 1.6Tbps 트래픽을 단일 스위치로 라우팅하는 대신, 트래픽은 서로 다른 스위치로 향하는 8개의 200Gbps 링크로 분할됩니다.
멀티플레인은 multi-rail 대비 AI 팩토리 규모를 64배 확장합니다. NVIDIA는 각 GPU당 1.6T scale-out 대역폭을 유지하면서 512k Rubin GPU를 지원할 것으로 전망합니다. 이 아키텍처는 4개의 레일에 걸쳐 8개의 플레인으로 구성된 200G 포트 512개를 갖춘 100T 스위치를 사용합니다. 멀티플레인 디자인은 또한 물리적 공간을 줄여, 전통적인 다계층 단일 레일 토폴로지보다 scale-out 스위치 수가 1.7배 적게 필요하므로 전력 소비, 랙 공간 요구 사항 및 전반적인 비용을 절감합니다. 내결함성은 멀티플레인의 주요 장점입니다. 부분 대역폭 손실 상황에서 Spectrum-X 멀티플레인 토폴로지는 2.68ms의 감지 시간으로 90%의 대역폭을 유지하는 반면, 전통적인 다계층 토폴로지는 대역폭이 0%로 떨어집니다. NVIDIA는 이를 상용 이더넷 멀티플레인 구현 대비 1.6배의 goodput 우위로 환산합니다. Spectrum-X는 2.68ms(약 400배 빠름) 내에 장애를 감지하고 100ms(약 11배 빠름) 내에 복구하여 90%의 대역폭을 유지합니다. 반면, 상용 토폴로지는 완전한 대역폭 손실을 겪으며 감지와 복구에 1080ms가 소요됩니다.
Spectrum-XGS는 여러 AI 팩토리 간 연결성을 확장합니다. 102.4Tb/s 스위치와 ConnectX-9 SuperNIC에서 포트당 800Gb/s를 특징으로 하며, NVIDIA는 분산 AI 운영을 위해 최대 1.9배 낮은 멀티 사이트 지연 시간과 2배 향상된 scale-across 성능을 주장합니다. NVLink Fusion은 서드파티 XPUs를 NVIDIA AI 플랫폼에 통합하여, 단일 도메인 내 72개 XPU를 연결하기 위해 XPU당 3.6 TB/s의 all-to-all 대역폭을 제공합니다. 이는 45°C의 유입 온도와 100% 액체 냉각을 견딜 수 있는 케이블리스 MGX 랙에 수용되며, 3배 낮은 지연 시간을 달성합니다.
소프트웨어도 이러한 하드웨어와 함께 진화해야 합니다. DSX는 NVIDIA의 AI 팩토리 플랫폼으로, DSX OS, DSX Sim, DSX MaxLPS, DSX Flex 전반에 걸친 전력 최적화, 인프라 소프트웨어 및 플랫폼 소프트웨어를 포함합니다. NVIDIA는 네트워크 토폴로지가 복잡해지고 배선 요구 사항이 더욱 정교해짐에 따라 건설 전에 대규모 시뮬레이션과 검증이 필요하다고 강조합니다. DSX Air은 배포 기간을 월 단위에서 일 단위로 압축합니다: 인프라 가동은 6개월에서 1주로, 인프라 소프트웨어 개발은 3개월에서 1주로, 전체 배포는 2주에서 1일로 단축됩니다.
NVIDIA는 AI 팩토리의 다섯 가지 네트워킹 인프라인 scale-in, scale-up, scale-out, scale-across, 그리고 컨텍스트 스케일을 다시 한번 강조하며 발표를 마무리했습니다. 각 영역은 목적에 맞춘 실리콘을 받으며, 대역폭, 패킷 속도, 지연 시간, 지터 측면에서 18배에 이르는 성능 승수를 보입니다. 제시된 모든 네트워킹 차원은 범용 파브릭에서 빌려온 것이 아니라 플랫폼과 공동 설계된 목적 지향적 설계이며, 이는 발표의 중심 논제입니다. NVIDIA는 이더넷이 AI 팩토리 scale-out을 지원할 수 있다고 주장하지만, 하드웨어가 AI 워크로드를 위해 특별히 설계되어야 한다는 조건 하에서만 가능합니다. 멀티플레인 토폴로지는 핵심 요소로, 처리 가능한 규모를 8k GPU에서 512k GPU로 확장하면서도 스위치 수를 줄이고 우수한 내결함성을 claim합니다. 이러한 지표들이 실제 생산 배포에서 유효할지는 최종 테스트가 될 것이며, 다가오는 Hot Chips 세션에서는 Vera Rubin 소프트웨어 및 광학 에코시스템의 통합 방식이 명확해질 것으로 예상됩니다.