AI 워크로드 급증이 스위치 패브릭을 핵심 병목으로 노출, 막대한 자본지출에도 GPU 유휴 상태 초래.

AI 워크로드의 급속한 성장은 인프라의 중요한 병목을 드러내고 있습니다: 네트워크입니다. 컴퓨팅 성능은 급증했지만, 네트워크가 그 속도를 따라갈 능력은 그렇지 못했습니다. 이러한 불균형은 세계 최고의 칩들을 미충분하게 활용하도록 하면서, 비용과 에너지 소비를 증가시키고 있습니다.

Model Flop Utilization (MFU)에 대한 연구는 AI 랩들이 조 매개변수 학습 시 Nvidia H100S에서 단 35~40%의 활용률을 달성하고 있음을 보여줍니다. 세계에서 가장 비싼 칩들이 네트워크를 통해 데이터가 도착할 때까지 절반 이상 대기 상태로 있습니다.

컴퓨팅을 연결하는 네트워크 패브릭이 AI 시스템이 실제로 달성할 수 있는 것의 제약이 되었습니다. 지금 이루어지는 아키텍처 결정들—격리된 상태에서 설계된 컴포넌트들을 함께 연결하는 것—은 미래 AI 인프라의 비용, 에너지 효율성, 경쟁력 있는 실현 가능성을 결정할 것입니다.

AI 학습 워크로드는 이미 400 Gb/s를 넘어 800 Gb/s로 이동하고 있으며, 1.6 Tb/s 라인 속도가 단기 로드맵에 있습니다. 하지만 링크의 기본 속도는 문제의 일부일 뿐입니다. 클러스터가 수천 개의 GPU로 확장될 때, 도전과제는 연결 속도에서 스위칭 패브릭이 모든 노드 간의 데이터 이동을 얼마나 효율적으로 조정하는지로 이동합니다. 이는 근본적으로 더 복잡한 엔지니어링 문제입니다. 네트워크 기술은 2027년까지 1.6 Tb/s 라인 속도를 달성해야 하며; 그 기간을 놓치면 생태계가 당신을 우회하게 될 것입니다.

이것이 데이터센터 자본지출에서 네트워킹의 비중이 현재 대략 5~10%에서 2030년까지 15~20%로 증가하고 있는 이유입니다. 네트워킹은 이제 인프라 오버헤드가 아닌 주요 비용 동인입니다.

직관적 대응책—더 빠른 트랜시버, 더 조밀한 케이블, 더 높은 라인 속도—은 근본적인 문제를 해결하지 못합니다. 링크당 대역폭이 증가함에 따라 모든 스위칭 노드에 대한 요구사항이 증가합니다. 400 Gb/s에서 충분했던 스위치가 800 Gb/s에서 절대적 제약이 됩니다. 상호연결 업그레이드는 스위칭 레이어를 노출하고 전체 프로세스를 복잡하게 합니다.

스위칭 레이어를 우회하기 위해 포인트-투-포인트 상호연결만으로 클러스터 규모를 확장하면 필요한 레이저 소스가 기하급수적으로 증가하고, 전력 소비가 비선형적으로 증가하며, 추가되는 모든 노드에 따라 복잡성이 배로 증가합니다. 스위치는 피할 수 없습니다. 유일한 질문은 그것이 더 이상 병목이 되지 않을 정도로 충분히 잘 동작하는지 여부입니다.

AI 인프라 스택은 독립적으로 최적화된 컴포넌트들—액셀러레이터, 트랜시버, 상호연결, 스위치—로 진화했으며, 각각은 자신의 성능 범위에 맞게 개발된 후 이들을 함께 작동하게 해야 할 아키텍트에게 전달되었습니다. 결과는 과도한 엔지니어링과 낭비된 용량입니다. 네트워크 패브릭은 실제 배포와 맞지 않는 일반적인 워크로드를 위해 설계됩니다.

업계는 컴포넌트 수준의 사고로 시스템 수준의 문제를 해결하려고 시도하고 있습니다. 낭비된 스위칭 용량은 미충분하게 활용된 컴퓨팅과 설계상 실제 필요를 초과하는 전력 예산을 초래합니다. 조 달러 규모의 투자는 실제보다 훨씬 덜 생산적이 됩니다.

원시 컴퓨팅과 제공된 성능 사이의 간격을 좁히려면 다른 출발점이 필요합니다. 사용 가능한 최고의 부품에서 패브릭을 조립하는 대신, AI 네트워크 아키텍처는 워크로드에서 시작하여 그것을 실제로 제공하는 스위칭, 상호연결, 인터포저 설계로 거꾸로 추론해야 합니다. 이는 세 가지를 함축합니다:

스택 전체에 걸친 공동 최적화. 인터포저, 상호연결, 스위칭 레이어는 독립 변수가 아닙니다. 네트워크의 성능 범위는 이 레이어들이 어떻게 상호작용하는지에 의해 결정되며; 한 부분의 이득은 다른 부분의 제약으로 인해 자주 상쇄됩니다.

아키텍처별 설계. AI 학습, 추론, HPC 워크로드는 근본적으로 다른 트래픽 패턴, 지연 시간 허용, 대역폭 활용 프로필을 가집니다. 학습을 위해 설계된 참조 아키텍처는 추론을 위해 설계된 것과 본질적으로 다르며; 일반적인 설계는 어느 쪽도 잘 제공하지 못합니다.

광학 패킷 레벨 재구성 가능 스위칭. 전자 패킷 스위치는 규모 확대 시 절대적 한계에 도달합니다: 전력 소비가 증가하고, 지연 시간 최소값은 개선되지 않으며, 실리콘은 물리적 제약에 부딪힙니다. 광학 스위칭은 이러한 한계를 넘는 경로를 제공하지만, 아키텍처는 매체만큼 중요합니다. 회로 교환은 예측 가능하고 장시간 지속되는 흐름에 적합합니다. AI 트래픽은 비대칭적이며 학습과 추론 사이를 역동적으로 변합니다. 광학 회로 교환은 광학 시스템의 목적을 무효화하는 유휴 기간을 피하기 위해 충분히 빠르게 재구성할 수 없습니다. 패킷 레벨 재구성 가능 광학 아키텍처는 이를 해결하여 광학 매체의 낮은 지연, 높은 대역폭, 에너지 효율성을 보존합니다.

Nvidia가 네트워킹을 가장 큰 사업부 중 하나로 만든 것은 당연합니다: 컴퓨팅으로부터의 수익은 네트워크가 필요한 속도로 지연, 혼잡, 미충분 활용 없이 전달할 수 있는지 여부에 달려 있습니다. 스위칭 레이어는 1급 설계 인자여야 합니다. 기존 스위칭 아키텍처는 다른 시대를 위해 구축되었으며, AI 트래픽 패턴은 이미 이를 능가했습니다.

승자는 워크로드에서 시작하여 역으로 설계하고, AI 트래픽의 특성과 일치하는 아키텍처를 채택하여 계속 성장하는 자들입니다. 나머지는 사용할 수 없는 컴퓨팅에 계속 비용을 지불하게 될 것입니다.