엔비디아는 102.4 테라비트/초 이더넷 스위치 시스템 Spectrum-6을 발표했으며, 이전 세대 대비 2배의 용량을 제공합니다.
NVIDIA Spectrum-6는 AI 인프라의 네트워킹에서 새로운 이정표를 달성하며, 기존 세대 시스템보다 두 배 더 큰 용량을 제공하는 초당 102.4테라비트의 이더넷 스위치 시스템을 제공합니다. 이 기술은 NVIDIA Vera Rubin 플랫폼의 일환으로 구축되었으며, AI 공장을 통합된 엔드투엔드 컴퓨팅 시스템으로 운영하는 데 필요한 대역폭, 확장성 및 지능을 제공하도록 설계된 차세대 NVIDIA Spectrum-X 이더넷 플랫폼의 핵심입니다.
CoreWeave, Microsoft, Nebius, SpaceXAI, Tesla를 포함한 세계 최고의 AI 인프라 구축 기업들은 Spectrum-6를 가장 먼저 도입하여 AI 공장 가속화에 나설 예정입니다. CoreWeave의 네트워킹 제품 책임자 Min Jun은 대규모 성능 제공에 네트워킹이 중심적 역할을 한다고 언급하며, Spectrum-6와 액체 냉각 방식의 Spectrum-X 이더넷 인프라를 AI 공장에 도입함으로써 최첨단 모델 학습과 추론 배포에 필요한 대역폭, 복원력 및 효율성을 제공할 수 있다고 밝혔습니다. Nebius 부사장 Laurelle Roseman은 기가스케일 규모에서는 성능이 조정과 모든 GPU 동기화에 달려 있으며, Spectrum-6는 요구되는 워크로드가 확장되더라도 빠르고 복원력 있는 파브릭을 통해 이를 달성한다고 강조했습니다.
이 플랫폼은 근본적인 아키텍처 전환을 통해 성능을 달성합니다. 대규모 AI 학습과 추론은 집단 통신(collective communications)을 통해 지속적으로 데이터를 교환하는 수천 개의 가속기에 의존하며, 이는 심한 동서 방향 트래픽을 생성합니다. 전통적인 이더넷은 사용자, 서버, 스토리지 간 북남 방향 트래픽 패턴인 엔터프라이즈 애플리케이션용으로 설계되었으며, 기가스케일 AI에 필요한 동기화된 집단 중심 통신 패턴에는 적합하지 않았습니다. Spectrum-X 이더넷은 모든 GPU에 데이터 공급을 유지하도록 설계된 목적 지향형 고성능 스케일아웃 파브릭으로 이더넷을 변모시킵니다.
Spectrum-6은 NVIDIA ConnectX-9 SuperNIC과 결합하여 차세대 Spectrum-X 이더넷을 구성하며, NVIDIA Vera Rubin의 일부로 설계되어 NVIDIA Vera CPU, Rubin GPU, NVLink 6 Switch, ConnectX-9 SuperNIC, BlueField-4 DPU 및 Spectrum-6 이더넷 스위치를 통합합니다. 이 기술은 플러그블(optics)과 코팩티드(co-packaged) 광학 장치를 모두 지원하며, 액체 냉각 옵션을 포함하여 전체 AI 공장의 포괄적인 엔드투엔드 냉각을 가능하게 하면서 네트워크 전력 효율성을 높입니다.
AI용 NVIDIA Spectrum-X 이더넷 네트워킹 플랫폼은 AI 워크로드를 위해 함께 설계된 지능형 스위치, ConnectX-9 SuperNIC 및 풀스택 네트워킹 소프트웨어를 결합합니다. 고급 기능은 파브릭 내 트래픽 이동을 지속적으로 최적화하여 사용 가능한 경로 간에 트래픽을 지능적으로 분배하고, 장애 발생 시 빠르게 우회하며, 데이터가 목적지에 도달하지 못할 경우 정밀하게 복구합니다. 이 플랫폼은 오픈 네트워크 운영 체제를 지원하며, RDMA 전송 모델 중 선택할 수 있는 옵션을 제공하여 성능을 저하시키지 않으면서 AI 구축자에게 유연성을 제공합니다.
Spectrum-X 이더넷은 상용 이더넷 대비 최대 1.6배 높은 AI 네트워킹 성능을 제공하며, 10만 개 이상의 GPU를 초과하는 배포 환경에서 최대 95%의 네트워크 효율성을 유지합니다. 하드웨어 가속화된 Spectrum-X 멀티플레인 토폴로지는 데이터센터에 필요한 스위치 수를 1.7배 줄여줍니다. Spectrum-X 이더넷 포토닉스와 결합할 경우, 네트워크 파브릭 개선 사항을 통해 전력 효율성은 5배 향상되고 고장 간 평균 시간(mean time between incidents)은 10배 개선되며, 구성 요소 수준의 최적화를 넘어선 워크로드 가속화를 실현합니다.