Meta와 Oracle이 자신들의 메가 AI 팩토리를 위해 Nvidia의 Spectrum-X Ethernet 네트워킹을 채택하고 있으며, 대규모 GPU 클러스터 전반에 Nvidia 네트워킹을 표준화하고 있습니다.

오픈 컴퓨트 프로젝트 서밋에서 엔비디아는 메타 플랫폼스 인크(Meta Platforms Inc.)와 오라클 코퍼레이션(Oracle Corp.)이 자체 AI 워크로드용으로 설계된 스펙트럼-X(Spectrum-X) 이더넷 네트워킹 플랫폼을 채택한다고 발표했습니다. 이 시스템은 수백만 개의 그래픽 처리 장치(GPU)를 하나의 통합 파브릭으로 연결합니다. 기존 이더넷 솔루션이 AI에 맞게 개조된 것과 달리, 스펙트럼-X는 대규모 AI 워크로드의 통신 패턴 — 막대한 양의 모든 대 모든(all-to-all) GPU 동기화, 저지연 메시징 및 혼잡이 빈번한 흐름 — 을 처리하도록 처음부터 설계되었습니다. 동사는 기존 이더넷 대비 AI 통신 성능이 1.6배 향상되었다고 주장하며, 이는 학습 및 추론 과정에서 GPU 대기 시간을 줄이고 처리량을 높이는 직접적인 결과라고 설명했습니다.

메타가 자체 Facebook Open Switching System(FBOSS)과 미니팩3N(Minipack3N) 스위치에 스펙트럼-X를 통합한 것은 오픈 네트워킹의 중요한 전환점이 됩니다. 메타의 네트워킹 엔지니어링 부사장 가야 나간자얀(Gaya Nagarajan)은 "메타의 차세대 AI 인프라는 산업 역사상 전례 없는 규모로 개방적이고 효율적인 네트워킹을 필요로 합니다"라고 말했습니다. 스펙트럼-X 이더넷을 FBOSS와 결합함으로써 메타는 개방형 프로그래머블 제어 플레인과 AI 최적화된 물리적 인프라를 결합하여 분산된 네트워크 모델의 유연성을 유지하면서도 예측 가능하고 혼잡 없는 성능을 달성하고 있습니다.

오라클 클라우드 인프라(Oracle Cloud Infrastructure)는 규모 확장에 중점을 둔 보완적 접근 방식을 취하고 있습니다. 오라클은 차기 엔비디아 베라 루빈(Vera Rubin) 아키텍처를 기반으로 하는 기가바이트 규모의 AI 팩토리를 구축하기 위해 스펙트럼-X를 활용하고 있습니다. 오라클 클라우드 인프라 담당 최고경영자(Executive Vice President) 마헤시 티아가라잔(Mahesh Thiagarajan)은 "스펙트럼-X 이더넷을 채택함으로써 우리는 획기적인 효율성으로 수백만 개의 GPU를 상호 연결할 수 있습니다"라고 밝혔습니다. 스펙트럼-X의 스케일 어크로스(Scale-Across) 기능(SpectrumXGS)을 통해 오라클은 여러 데이터센터, 심지어 국가 간 클러스터도 하나의 논리적 AI 시스템으로 연결할 수 있습니다.

스펙트럼-X 아키텍처는 초당 51.2테라비트의 처리량을 제공하는 스펙트럼4(Spectrum4) 이더넷 스위치와 블루필드-3(BlueField-3) 슈퍼NIC 및 DPU(Datasheet Processing Unit)를 결합합니다. 이를 통해 네트워크 서비스를 오프로드하고 보안함으로써 GPU는 순수한 연산 작업에만 집중할 수 있습니다. 또한 converged Ethernet(RoCE)을 통한 초당 400기가비트의 RDMA를 지원하여 GPU 간 통신 속도를 높이고 안전한 멀티테넌트 환경을 제공합니다. 엔비디아의 풀스택 전략의 일환으로 스펙트럼-X는 개발, 배포 및 운영 가시성을 위해 DOCA, Cumulus Linux, Pure SONiC, NetQ, AI Enterprise, AI Workbench와 통합됩니다.

네트워킹은 조용히 AI 시대의 사실상 표준 운영 체제로 자리 잡았습니다. 업계의 합의는 새로운 현실을 향해 형성되고 있습니다. 즉, AI의 성능 한계가 연산에서 연결성으로 이동했다는 것입니다. 이제 네트워크는 과거 운영 체제가 수행했던 통합 역할을 수행하며, 클라우드, 엣지, 데이터센터 전반에 걸쳐 분산된 리소스를 오케스트레이션하고, 스케줄링하며, 동기화하고 있습니다.