AI로 인해 데이터센터 운영사들은 독자적인 인프라 로드맵을 버리고 가속기와 시설을 함께 설계해야 하는 상황에 놓였다는 분석이 나왔다. 유휴 상태의 가속기는 회수되지 못하는 자본, 낭비되는 에너지, 그리고 가장 값비싼 인프라 투자 중 일부의 수익률 하락을 의미하기 때문이다.

수십 년 동안 대부분의 데이터센터 인프라는 서로 대체로 독립적인 기술 영역들의 집합으로 발전해 왔다. 프로세서 성능은 아키텍처 및 공정 혁신을 통해 향상되었고, 메모리와 네트워킹은 각자의 로드맵에 따라 발전했으며, 시설 인프라는 연이은 하드웨어 세대를 지원할 수 있도록 예측 가능한 방식으로 확장되었다.

무어의 법칙, 표준화된 인터페이스, 그리고 꾸준한 기술 확장 덕분에 운영자들은 서버, 네트워크, 시설을 서로 다른 일정에 맞춰 자신 있게 업그레이드할 수 있었다. AI는 이러한 모델을 근본적으로 바꾸어 놓았다. 오늘날의 가속기 플랫폼은 연산 엔진만이 아니라 메모리 서브시스템, 네트워킹 패브릭, 첨단 패키징 기술, 전력 공급 시스템, 냉각 인프라의 상호작용으로부터 성능을 얻는다.

AI 배포 규모가 커지면서 이러한 영역들 사이의 전통적인 분리는 점차 약해지고 있다. 역사적으로 서로 독립적인 인프라 계층들의 집합으로 여겨졌던 것이 이제는 긴밀하게 결합된 하나의 시스템처럼 작동하고 있으며, 한 영역에서 내린 결정이 다른 영역의 결과에도 영향을 미친다.

전통적인 엔터프라이즈 워크로드에서는 성능 향상이 종종 단일 서브시스템 안에서 실현될 수 있었지만, 대규모 AI 학습과 추론은 플랫폼 전체에서 데이터가 이동하는 효율성에 의해 제약을 받는다. 모든 학습 반복 단계마다 수천 개의 가속기에 걸쳐 모델 파라미터, 활성화 값, 그래디언트가 끊임없이 이동하고 동기화되어야 한다. 그 결과 메모리 용량, 메모리 대역폭, 상호연결 지연 시간, 통신 오버헤드는 연산 엔진 자체만큼이나 성능에 결정적이다.

따라서 유휴 상태의 가속기는 묶인 자본, 낭비되는 에너지, 그리고 데이터센터에서 가장 비싼 인프라 투자 중 일부에 대한 낮은 수익을 의미한다.

**최근 AI 인프라 배포 사례의 증거**

최근의 AI 인프라 배포 사례는 이러한 상호 의존성을 분명하게 보여준다. 최신 가속기 플랫폼은 어느 하나의 구성 요소 발전보다는 연산, 메모리, 네트워킹, 전력 공급, 냉각 시스템의 통합을 중심으로 점점 더 설계되고 있다.

고대역폭 메모리(HBM)의 도입은 메모리 대역폭과 첨단 패키징의 중요성이 커지고 있음을 부각시켰고, 전력 가용성과 냉각 용량은 대규모 AI 클러스터의 주요 배포 제약 요인으로 떠올랐다. 이러한 발전들은 함께 시스템 성능이 독립적인 최적화보다는 공동 설계(co-design)에 점점 더 의존하고 있음을 보여준다.

이러한 변화의 가장 명확한 증거는 기술적인 측면만큼이나 조직적인 측면에 있다. 엔비디아가 GPU, NVLink, NVSwitch, 네트워킹, CUDA, DGX 시스템을 통합한 것, 구글이 TPU를 자사 소프트웨어 스택 및 데이터센터 인프라와 함께 공동 설계한 것, 그리고 AWS 트레이니움(Trainium)과 마이크로소프트의 마이아(Maia)와 같은 수직 통합형 플랫폼의 등장은 모두 동일한 근본적 흐름을 반영한다.

이제 경쟁 우위는 전체 컴퓨팅 시스템 전반의 비효율을 최소화하고, 하드웨어, 소프트웨어, 네트워킹, 인프라 간의 상호작용을 최적화하는 데서 나온다.

아키텍처 결정 역시 더 이상 개별적으로 평가할 수 없다. 예를 들어 메모리 대역폭이 함께 확장되지 않는다면, 가속기 연산 능력을 늘리는 것은 거의 가치를 주지 못한다.

이러한 요구를 충족하려면 추가적인 HBM, 첨단 패키징, 더 높은 전력 공급이 필요한 경우가 많으며, 이는 다시 열 밀도를 높여 액체 냉각과 고밀도 랙 아키텍처의 도입을 촉진한다. 이처럼 더 조밀해진 시스템은 수천 개의 가속기를 효율적으로 동기화 상태로 유지하기 위해 더 높은 대역폭과 더 낮은 지연 시간을 갖춘 네트워크 패브릭을 요구하는 등 네트워킹에도 더 큰 부담을 준다.

또한 시설의 전력 및 냉각 제약은 실리콘의 성능과 무관하게 달성 가능한 성능을 제한할 수 있다. AI 인프라에서는 하나의 병목을 제거하려는 모든 시도가 다른 여러 병목에 영향을 미치므로, 전체 성능은 더 넓은 플랫폼을 하나의 시스템으로서 얼마나 효과적으로 최적화하는지에 달려 있다.

**인프라 및 기술 로드맵에 대한 시사점**

최신 가속기 로드맵에는 이를 운영하는 인프라에 대한 가정이 이미 내재되어 있다. 메모리, 패키징, 네트워킹, 전력 공급, 열 관리는 더 이상 구현상의 세부 사항이 아니라 아키텍처적 제약 조건이다.

따라서 가속기를 선택하는 일은 주변 인프라가 이를 감당할 수 있는지 평가하는 일과 불가분의 관계가 되었다. 초당 수 테라바이트 수준의 메모리 대역폭과 킬로와트 규모의 전력 소비를 위해 설계된 가속기는 이전 세대 컴퓨팅을 위해 지어진 시설에서는 의도된 성능을 발휘할 수 없다.

운영자에게 가속기 선택은 이제 실리콘 성능을 넘어, 이를 지원하는 데 필요한 전력, 냉각, 연결성까지 포함한다.

이러한 영향은 기술 선택을 넘어 인프라 계획 자체로 확장된다. 코로케이션 사업자의 경우, 시설 로드맵이 전통적인 교체 주기가 아니라 고객의 가속기 배포에 의해 점점 더 좌우될 수 있으며, 이에 따라 전력 분배, 액체 냉각, 고밀도 랙 아키텍처에 대한 투자를 더 일찍 해야 할 수 있다.

하이퍼스케일러의 경우, 이러한 흐름은 실리콘, 네트워킹, 소프트웨어, 시설 설계 간의 더 긴밀한 조율의 필요성을 강화한다. 양쪽 모두에서 실리콘, 네트워킹, 소프트웨어, 시설 엔지니어링에 대한 결정은 점점 더 상호 의존적이 되고 있으며, 인프라 전략과 컴퓨팅 전략이 함께 진화하고 있다.

**결론**

AI 컴퓨팅 스택은 이제 구성 요소들이 얼마나 효과적으로 함께 작동하는지에 의해 정의된다. 이러한 지원 기술들이 가속기 아키텍처와 더 긴밀하게 통합됨에 따라, 기존의 인프라 영역 간 경계는 계속 모호해지고 있다.

운영자에게 인프라 전략과 컴퓨팅 전략은 불가분의 관계가 되고 있으며, 결정은 더 넓은 시스템의 맥락에서 평가되어야 한다. AI 배포가 계속 확대됨에 따라, 경쟁 우위는 개별 구성 요소의 성능이 아니라 전체 플랫폼이 얼마나 효과적으로 공동 설계되고 하나의 통합 시스템으로 운영되는지에 점점 더 달려 있을 것이다.

이 기사는 마이크로소프트의 SCHIE(Silicon, Compute Hardware, Infrastructure Engineering) 조직 소속 기술자인 Vignesh Sathiyamoorthy와의 협업으로 작성되었다.

이 기사에서 AI 컴퓨팅 스택은 대규모 AI 학습 및 추론 워크로드를 제공하는 데 필요한 기술들의 집합을 의미하며, 가속기, 메모리, 네트워킹, 전력 공급, 냉각 시스템, 그리고 이들이 하나의 통합 플랫폼으로 작동할 수 있게 하는 지원 데이터센터 인프라를 포함한다.