분석 결과, 엔비디아 NVSwitch는 최종적으로 스케일업 AI 네트워크의 주요 인터커넥트 파브릭으로 기능하며 기존 인피니밴드 아키텍처를 대체할 것으로 나타났다.

컴퓨팅 초기 두 가지 경쟁 I/O 아키텍처가 PC와 서버의 지배권을 놓고 경쟁했습니다. 닷컴 버블이 가속화되면서 업계는 인피니밴드(InfiniBand)의 스위치된 파브릭(switched fabric)을 컴퓨팅을 위한 표준 I/O 인터커넥트로 채택하기로 합의했습니다.

그러나 이후 닷컴 버블 붕괴로 인해 벤더들은 점대점(point-to-point) 인터커넥트(예: PC와 서버를 인터넷이나 내부 네트워크에 연결하는 링크)와 여러 기계에 걸쳐 컴퓨팅 자원을 집계하는 오늘날의 스케일아웃(scale-out) 네트워킹을 위해 이 표준을 포기하고 이더넷(Ethernet)을 선호하게 되었습니다. 경제적인 제약 속에서 업계는 또한 주변 장치 연결을 위해 업그레이드된 PCI-X와 이후 PCI Express 버스에도 표준을 맞추었습니다.

인피니밴드는 볼타이어(Voltaire)와 멜라녹스(Mellanox Technologies)를 통해 고성능 저지연 인터커넥트로 생존했습니다. 멜라녹스는 스위치 ASIC과 네트워크 인터페이스 카드(NIC)를 공급한 반면, 볼타이어는 HPC 모델링 및 시뮬레이션 워크로드에 맞춰 개발된 스위치를 만들었습니다. 2010년 11월, 멜라녹스는 인피니밴드 스위칭 리더십을 강화하기 위해 볼타이어를 2억 1,800만 달러에 인수했습니다. 전 유니시스(Unisys) 엔지니어들이 설립한 인피니콘 시스템즈(InfiniCon Systems)는 시장에 진입하여 결국 QLogic으로 진화했는데, 이는 인피니밴드 분야에서 멜라녹스의 주요 경쟁자였습니다. 인텔은 2012년 1월 이를 1억 2,500만 달러에 인수했고, 이후 해당 QLogic 엔지니어링 팀은 인텔에서 분리되어 2020년 9월 코넬리스 네트워크스(Cornelis Networks)를 형성했습니다. 또 다른 인피니밴드 스위치 벤더인 톱스핀(TopSpin)은 2005년 시스코 시스템즈(Cisco Systems)에 인수되었습니다. 한편, 공동 창업자 앤디 베크토슈하임(Andy Bechtosheim)의 지도 아래 선 마이크로시스템즈(Sun Microsystems)는 “Constellation” HPC 클러스터의 클러스터링 기술로 인피니밴드를 채택하고 독점 인피니밴드 ASIC과 NIC를 개발했습니다. 오라클(Oracle)은 2009년 4월 56억 달러에 선 마이크로시스템즈를 인수한 후에도 이러한 전략을 유지했습니다. CEO 래리 엘리슨(Larry Ellison)은 인피니밴드 스위치 제조사 XSIGO SYSTEMS를 구매함으로써 오라클의 입지를 더욱 강화했지만, 결국 통합 스케일업, 스케일아웃, 스케일어크로스(scale-across) 네트워킹 플랫폼으로 이더넷으로 방향을 전환했습니다.

2023년 7월에 설립된 울트라 이더넷 컨소시엄(Ultra Ethernet Consortium)은 인피니밴드의 저지연성과 높은 대역폭, 서비스 품질(QoS) 및 적응형 라우팅 기능을 이더넷의 우수한 확장성, 멀티테넌시(multitenancy) 및 QoS 기능과 결합하는 것을 목표로 합니다. 목표는 100만 개의 엔드포인트를 타겟팅하는 AI 클러스터를 지원하며 인피니밴드를 압도적으로 능가하는 스케일아웃 네트워크를 만드는 것입니다. 이더넷은 또한 NVSwitch 인터커넥트를 통해 Nvidia의 스케일업 영역에도 침투하고 있는데, 이는 72개의 가속기들을 단일 일관된 공유 메모리 공간으로 연결합니다. 이 아키텍처는 추가적인 지연 시간 홉(hops)을 감수하더라도 최대 576개 장치를 지원하도록 확장할 수 있습니다.

참고로, 저는 인피니밴드와 NVSwitch 모두를 가치 있게 평가합니다. 인피니밴드는 25년 동안 무적의 저지연 리더였으며 오늘날에도 경쟁 우위를 유지하고 있습니다. 이것이 제가 7월에 끝나는 지난 12개월간 Nvidia의 매출을 257억 4천만 달러로 추정하는 이유이며, 이는 이더넷과 NVSwitch 인터커넥트의 합산 매출로 제가 추정한 256억 7천만 달러와 거의 동일한 수치입니다. 그럼에도 불구하고 이는 대규모 클러스터에서의 인피니밴드 채택이 정점에 달했음을 시사합니다. 하이퍼스케일러(hyperscalers), 클라우드 제공업체 및 AI 모델 개발자들은 점점 더 차세대 울트라 이더넷 기술을 표준으로 채택하고 있습니다. 동시에 브로드컴(Broadcom), 시스코 시스템즈, 그리고 Nvidia 자체를 포함한 이더넷 ASIC 벤더들은 이더넷 파브릭 내의 포트 홉(port-hop)과 종단 간(end-to-end) 지연 시간을 적극적으로 줄이고 있습니다.

10년 이상 전, 저는 이더넷이 인피니밴드를 대체하기에 너무 빠르게 움직일 것이라고 주장했습니다. 저는 인피니밴드가 당분간 생존 가능할 것으로 예상하는데, 주로 Nvidia를 통해서이며, 현재 특정 중국의 맞춤형 HPC 인터커넥트들과 함께 Nvidia가 사실상 유일한 주요 공급자입니다. 이러한 중국 솔루션들은 인피니밴드를 기반으로 하며(독립적이었던 시절의 멜라녹스로부터 라이선스를 받고 승인을 받았지만), 수정되어 더 이상 인피니밴드 명칭을 사용하지 않을 수도 있습니다. 여전히 이더넷은 캠퍼스, 엣지(edge), 데이터 센터 네트워크 전반에 걸친 광범위한 호환성과 확장 이점을 활용하여 인피니밴드를 특수 니치(niche)로 밀어낼 가능성이 높습니다. 앞으로 Nvidia의 자체 매출은 스케일업을 위한 NVSwitch와 스케일아웃을 위한 Spectrum-X 이더넷이 주도할 것입니다. 이러한 변화는 벤더의 홍보보다는 고객 수요에 의해 추진됩니다. 기업과 AI 모델 빌더 모두 이더넷을 선호하며, 과거 AI 클러스터 배포에서 인피니밴드를 옹호했던 메타 플랫폼스(Meta Platforms)조차도 마찬가지입니다.

오래된 네트워킹 격언은 이더넷이 항상 승리한다는 것이며, 실제로 그렇게 됩니다. 그 성공은 경쟁 파브릭으로부터 입증된 혁신을 채택하여 광범위한 기업 환경에 맞게 조정했을 뿐만 아니라, 특수 목적의 HPC 및 AI 워크로드에도 적용했기 때문입니다. 이러한 역동성은 시스템을 클러스터링하고 사용자를 연결하는 스케일아웃 네트워크뿐만 아니라 AI 클러스터 내에서 GPU와 XPU를 상호 연결하는 스케일업 네트워크에도 동일하게 적용됩니다. 패스트 이더넷(Fast Ethernet)은 이미 대체 메모리 공유 아키텍처를 위한 전송 계층으로 부상하고 있습니다.

여기에는 2024년 5월 AMD, 브로드컴, 시스코 시스템즈, 구글(Google), 휴렛 팩커드 엔터프라이즈(Hewlett Packard Enterprise), 인텔, 메타 플랫폼스, 마이크로소프트(Microsoft)에 의해 설립되어 NVLink와 NVSwitch에 도전한 UALink도 포함됩니다. 주목할 만한 점은 AMD가 자체 “Helios” 랙 내 스케일업 네트워킹을 위해 UALink 프로토콜을 구현하는 데 브로드컴 Tomahawk 6 Ultra 이더넷 스위치를 사용한다는 것입니다. UALink는 XPU와 GPU를 연결하기 위한 메모리 일관성(memory-coherent) 프로토콜로 작동하지만, CPU와 DPU 간에도 메모리 공유를 촉진할 수 있습니다. 마찬가지로 메타 플랫폼스와 마이크로소프트가 주창하는 ESUN 프로토콜은 AMD, 아리스타 네트워크스(Arista Networks), Arm, 시스코, 휴렛 팩커드 엔터프라이즈, 마벨(Marvell), Nvidia, 오픈AI(OpenAI), 오라클로부터 지지를 얻었습니다. 브로드컴은 ESUN/SUE-T 이니셔티브(여기서 SUE-T는 이더넷 스케일업 스택 내의 부하 분산 및 상위 레벨 기능을 관리함)에 참여하고 있지만, UALink에서는 철수했으며 지금까지 NVLink/NVSwitch 생태계에 대한 관심은 보이지 않고 있습니다. 그러나 브로드컴의 반도체 설계 서비스 부문 내 CPU 및 XPU 고객이 NVSwitch를 랙 규모 파브릭으로 채택하고 GPU와 XPU를 모두 수용하는 Nvidia 스타일의 서버 랙을 배포하기로 선택하면 이러한 입장이 바뀔 수 있습니다.

최종 결과를 예측하는 것은 여전히 어렵습니다. 최근 Nvidia는 대만의 시스템온칩(SoC) 제조사인 미디어텍(MediaTek)이 발행한 35억 달러 상당의 전환사채를 매입했습니다. Nvidia 공동 창업자이자 CEO인 젠슨 황(Jensen Huang)은 블룸버그와의 인터뷰에서 미디어텍을 “세계에서 가장 크고 최고의 SoC 제조사”라고 묘사했는데, 이는 AMD와 인텔이 정당하게 이의를 제기할 만한 주장입니다. 계약에 따라 미디어텍은 NVLink Fusion 스택에 접근할 수 있게 되어 제3자 칩 디자이너들이 NVLink 포트를 통합하고 NVSwitch 메모리 파브릭에 참여할 수 있게 됩니다. 중요하게도, Nvidia는 NVSwitch ASIC이나 chassis를 독립적으로 판매하지 않습니다. 배포하려면 Grace 또는 Vera CPU, 또는 Blackwell 또는 Rubin GPU가 필요하며, 이는 스케일업 인터커넥트로 NVSwitch가 장착된 Nvidia 랙의 조달을 전제로 합니다.

궁극적으로 Nvidia는 CPU, GPU, XPU 전반에 NVLink 포트를 배포하는 고객들에게 NVSwitch 네트워킹 판매를 환영할지도 모릅니다. 그러한 변화는 확실히 상응하는 소프트웨어 활성화(enablement)를 요구할 것입니다. 그러나 지금까지 Nvidia의 공식 입장은 이를 금지하고 있습니다.

장기적으로 보면 몇 가지 발전 사항이 AI 시스템의 스케일업 네트워킹을 형성할 것입니다. 현재 Nvidia는 GPU 수익의 약 95%, GPU/XPU 합산 수익의 약 75%를 장악하고 있어 NVLink와 NVSwitch를 통한 스케일업 네트워킹에서 지배적인 점유율을 차지하고 있습니다. 이러한 시장 입지는 2027년까지 연중 미미하게 감소할 것으로 예상됩니다.

그럼에도 불구하고 하이퍼스케일러, 클라우드 제공업체, AI 개발자 및 대형 기업들은 하드웨어 상호 운용성을 보장하는 개방적이고 널리 채택된 표준을 강력히 선호합니다. NVLink Fusion은 UALink와 ESUN/SUE-T 개발 주기를 방해하여 산업 통합을 한두 세대 정도 지연시키도록 설계된 것으로 보입니다.

기술 거대 기업들은 자체 하드웨어를 위한 독점 표준을 수립할 자본을 보유하고 있지만, 역사적 선례는 그들이 궁극적으로 공통 프로토콜로 수렴할 것임을 시사합니다. 이는 2014년에 발생했던 10 Gbps 신호를 10개 레인에 걸쳐 고수하려는 IEEE의 완고함에 대해 구글, 마이크로소프트, 아리스타 네트워크스가 인내심을 잃으면서 100 Gbps 및 그 이상의 이더넷을 위한 25 Gbps 신호 방식으로 이동한 것과 유사합니다. 상당한 업계 압력에 직면한 IEEE는 컨소시엄에게 통제권을 양도했습니다.

UALink는 포트 대 포트 기준으로 NVLink와 NVSwitch와 직접 경쟁할 수 있으며, 이론적으로는 거의 두 배 더 먼 거리까지 확장할 수 있습니다. 2025년 4월에 출시된 UALink 1.0 사양은 단일 스위칭 티어(tier) 내에서 최대 1,024개의 XPU 또는 GPU를 지원합니다. 반면, 576개 GPU 간 메모리 공유를 달성하려면 2티어 NVSwitch 아키텍처가 필요합니다.

개방적이고 이더넷 기반의 스케일업 파브릭이 궁극적으로 승리하여 AI 인터커넥트의 경쟁 구도를 근본적으로 재편할 가능성—아마도 일부는 확률이라고 말할지도 모르겠지만—이 존재합니다.