엔비디아는 코어 수익이 침식되기 전에 그리드 용량을 선점하기 위해 더 스마트하고 효율적이며 수익성 있는 비트 창고 설계를 제공하며 네오클라우드 공급업체를 유치하기 위해 GPUzilla 이니셔티브를 전개하고 있다.

엔비디아의 GPU 판매 능력은 궁극적으로 전력망의 용량에 의해 제약된다. 감가상각 주기가 길어짐에 따라 데이터센터는 수년간 노후화된 호퍼(Hopper)와 블랙웰(Blackwell) 시스템을 계속 운영할 것이다. 더 많은 GPU를 배포하려면 전력망에서 추가 전력을 끌어와야 한다. 엔비디아가 전력망 확장을 직접 가속화할 수는 없지만, 고객이 더 스마트하고 효율적인 시설을 구축하는 데 도움을 줄 수는 있다. “데이터센터 규모와 AI 공장 규모에서 우리는 기가와트당 성능을 높이기 위해 모든 효율성을 최대한 끌어내는 방법을 고민하고 있습니다.”라고 최근 El Reg와의 인터뷰에서 엔비디아 HPC 및 AI 하이퍼스케일 인프라 솔루션 담당 상무 디온 해리스(Dion Harris)는 말했다. 이번 주 열린 AI 인프라 서밋(AI Infra Summit)에서 엔비디아는 가용 전력을 컴퓨팅에 최대한 활용하면서 데이터센터가 지역 전력망에 미치는 영향을 최소화하도록 설계된 시스템을 공개했다.

데이터센터는 일반적으로 최대 용량 근처에서 운영되지 않는다. 100메가와트(MW) 규모의 시설은 일반적으로 전력의 최대 80%만 중요한 컴퓨팅 부하에 할당한다. 실제 비율은 사이트마다 다르지만, 이 여유분은 하드웨어 비효율성, 변환 손실 및 수요 급증을 고려한 것이다. 문제는 약 20MW의 용량이 유휴 상태가 되어 데이터센터에서는 사용할 수 없고 유틸리티에서도 회수할 수 없다는 점이다. 사용하지 않는 전력 1킬로와트(kW)는 잠재적인 GPU 판매 기회이므로, 엔비디아는 이러한 비효율성 문제를 해결하기 위해 DSX 플랫폼을 개발했다. 첫 번째 구성 요소인 DSX MaxLPS는 오랜 기간 존재해 온 개념을 기반으로 한다. 즉, 컴퓨팅 시스템과 전원 캐비닛, 배터리, 냉각제 분배 장치(CDU), 차일러 등 물리적 인프라가 원활하게 통신하면 운영자는 상당한 전력 절감 효과를 달성할 수 있다는 것이다. 예를 들어, 공기 처리 장치는 지속적으로 최대 용량으로 작동하는 대신 실시간 랙 전력 소비량을 기반으로 냉각 출력을 조정할 수 있다.

역사적으로 과제는 수십 개 벤더의 장비가 통합 프로토콜을 사용하여 통신하도록 하는 것이었다. 이론적으로는 타당하지만, 교차 벤더 간 조정은 AI 시스템의 광범위한 도입으로 산업 간 정렬이 가속화되기 전까지 어려웠다. 더 효율적인 시설은 더 높은 토큰 처리량을 생성하며, 이는 고객이 지불 의사가 있을 경우 더 큰 수익으로 이어진다. 엔비디아는 여전히 통신 계층 문제를 해결해야 했는데, 이는 자체 GPU의 시장 지배력으로 인해 비교적 쉽게 해결되었다. “DSX Exchange는 핵심 시스템뿐만 아니라 정보를 포착할 수 있게 해주는 API와 같은 역할을 합니다.”라고 해리스는 설명했다. “우리는 자산을 제공하는 다른 DSX 준비 제공업체로부터 정보를 포착할 수 있습니다. 여기에는 버티브(Vertiv)와 슈나이더 일렉트릭(Schneider Electric), 그리고 모든 빌딩 관리 시스템이 포함됩니다.”

AI 인프라 서밋 동안 엔비디아와 람다는 이 상호 운용성 브릿지, 즉 더 넓은 범위의 DSX MaxLPS 오퍼링의 일부가 기존 전력 제한 내에서 더 밀도 높은 컴퓨팅 배포를 가능하게 하는 방식을 시연했다. 테스트 결과, 람다는 이전에 16개 노드에 할당되었던 전력 예산 내에 19개의 노드를 압축하여 클러스터 전체 처리량을 24% 증가시키고 와트당 성능을 유사한 수준으로 개선했다. 회사에 따르면, 이러한 향상된 가시성과 제어 기능은 데이터센터가 인프라를 과도하게 과잉 공급하는 필요성을 줄여준다.

내부 효율성 극대화 외에도 엔비디아는 대규모 AI 학습 및 추론 부하가 지역 전력망에 미치는 영향을 완화하기 위한 데이터센터 관리 기술을 선보였다. 에메랄드 AI(Emerald AI)와 실리콘 밸리 파워(Silicon Valley Power)와 파트너십을 맺은 엔비디아는 그리드 수요 급증 시에도 중요한 작업을 중단하지 않으면서 데이터센터 전력 소비를 동적으로 조정하는 DSX Flex 플랫폼을 시연했다. DSX MaxLPS와 마찬가지로 그 기반 기술은 새로운 것이 아니다. 수요 응답 프로그램은 오랫동안 유틸리티가 피크 시간대에 산업용 사용자에게 에너지 소비 감소를 요청할 수 있도록 허용해 왔다. 구글(Google)과 같은 기업들도 유사한 접근 방식을 실험해 왔으며, 지난해 구글은 그리드 과부하를 방지하기 위해 필수적이지 않은 AI 부하를 일시 중단할 계획을 발표했다. 엔비디아의 DSX Flex는 이러한 기능을 해당 하드웨어를 배포하는 조직으로 확장한다.

그러나 이 기술은 정전을 방지하는 것 이상의 전략적 목적을 가질 수 있다. 즉, 짧은 시간에 전력을 회수할 수 있는 능력을 보장함으로써 유틸리티가 추가 전력망 용량을 승인하도록 유도한다. “경우에 따라 그리드 제공자나 송전선 소유자가 할당이나 과잉 공급 방식에서 다소 덜 보수적이 될 수 있습니다. 왜냐하면 특정 시간 창 내에서 부하를 제한할 수 있는 능력이 있음을 알기 때문에 그만큼 여유분을 많이 확보할 필요가 없기 때문입니다.”라고 해리스는 설명했다. 중요하게도, 회수된 용량이 반드시 부하 중단을 의미하는 것은 아니다. 엔비디아 소프트웨어 스택과의 심층 통합을 통해 필수적이지 않은 작업은 일시 중단되거나 잉여 전력을 가진 인근 시설로 마이그레이션될 수 있으며, 이는 종종 ‘태양을 쫓는(chasing the sun)’ 전략이라고 불린다.

예상대로, 엔비디아의 DSX 플랫폼은 검증된 하드웨어로 구축된 AI 공장에서 최적의 성능을 발휘하지만, d-Matrix, SambaNova 등의 회사에서 나온 서드파티 액셀러레이터를 통합하면 복잡성이 증가한다. NVLink Fusion 아키텍처 내의 d-Matrix처럼 이미 엔비디아 생태계에 통합된 파트너들의 경우, 해리스는 DSX 지원을 확장하기 위한 경로를 제시했지만, 모든 칩이 엔비디아 자체 실리콘과 동일한 세밀한 제어를 제공하지는 않기 때문에 다양한 수준의 소프트웨어 통합이 필요하다고 언급했다. AMD의 인스턴트(Instinct) GPU와 같은 경쟁 플랫폼의 경우, 데이터센터 건설자들은 대체 관리 시스템을 의존하여 DSX 기능을 복제해야 할 가능성이 높다. 궁극적으로 오늘날 제한된 전력망 용량을 최적화하는 것을 넘어, 엔비디아의 DSX 플랫폼은 엔비디아 하드웨어의 지속적 조달을 촉진하는 폐쇄형 생태계를 강화한다. ®