AI 인프라 수요가 데이터센터 용량 공급을 능가하고 있으며, 컴퓨팅 제약 배포의 병목을 초래하고 있다.

AI 데이터 센터는 전력 수요를 더 크게 만들 뿐만 아니라 예측하기도 더 어렵게 만들고 있습니다. Capgemini Research Institute 보고서에 따르면 거의 80%의 유틸리티 업체들이 더욱 극단적이고 변동성 있는 수요 패턴을 예상하고 있으며, 4분의 3 이상이 미래의 필요 사항을 정확하게 예측하는 데 어려움을 겪고 있습니다. 이러한 불확실성은 용량 관련 논의를 재편하고 있습니다. 67%의 전기 회사 임원들이 "유령" 데이터 센터 부하 요청을 보고하고 있으며, 평균적으로 약 19%의 데이터 센터 전력 요청이 실제로 실현되지 않습니다.

확보된 용량과 사용 가능한 용량 간의 불일치가 이미 시장에서 드러나고 있습니다. CBRE는 북미의 4대 데이터 센터 시장 전체 재고가 1분기에 전년 대비 33% 증가했으며, 라틴 아메리카의 4대 시장 전체 재고는 41.3% 증가했다고 보고했습니다. 이러한 공급 급증에도 불구하고, 미국 4대 시장의 공실률은 사상 최저를 기록했습니다 - Northern Virginia에서 0.3%, Atlanta에서 1%.

그러나 순수 재고만으로는 완전한 그림을 제시하지 못합니다. Black & White Engineering의 기술 및 혁신 글로벌 이사인 Paul Cook은 용량 확보가 더 이상 단순한 개발 문제만이 아니라고 주장합니다. 소유자-운영자들은 새로운 용량이 고밀도 랙이 가동되면 실제로 사용 가능한 AI 컴퓨팅으로 변환될 것임을 확인해야 합니다. 그들은 시설이 운영 중에 어떻게 작동할지, 얼마나 많은 용량을 안전하게 사용할 수 있을지, 그리고 부하, 냉각, 제어 및 시스템 성능 전반에 걸쳐 제약이 어디에서 발생할 가능성이 있는지에 대한 가시성이 필요합니다.

ASHRAE의 AI 데이터 센터 프레임워크는 이러한 가시성이 왜 중요한지 강조합니다. 랙 밀도는 약 120 kW에서 수백 킬로와트로 높아졌으며, 메가와트급 랙이 곧 기대됩니다. 전력과 냉각은 더 이상 별개의 영역으로 취급될 수 없습니다. 한쪽의 결정이 다른 쪽에 직접 영향을 미칩니다. 토지, 전력 및 물은 여전히 데이터 센터 개발을 주도하고 있지만, 시설이 운영되고 나면 실제로 얼마나 많은 사용 가능한 용량이 있는지는 드러내지 않습니다.

AI 워크로드에서 시설 제약은 점점 더 모델 성능에 영향을 미칩니다. 시설이 전력을 계약했을 수 있지만, 사용자 환경은 GPU가 안정적으로 실행될 수 있는지 여부와 냉각이 밀집된 워크로드를 유지할 수 있는지 여부에 따라 달라집니다. Nvidia의 LLM 벤치마킹 문서에 따르면 첫 번째 토큰까지의 시간은 요청 대기 시간, 프리필 시간 및 네트워크 레이턴시를 포함합니다 - 모두 인프라 요인에 의해 형성됩니다. GPU 리소스가 포화되면 시스템 처리량이 감소할 수 있습니다.

ASHRAE는 50–100+ kW 랙을 지원하기 위해 직접 칩 시스템 및 후면 열교환기를 포함한 액체 냉각을 권장합니다. Nvidia의 Data Center GPU Manager는 SM 사용률, 메모리 대역폭, 텐서 코어 활동 및 컴퓨팅 파이프라인 동작에 대한 가시성을 제공합니다. 이 원격 측정은 운영자 및 구매자에게 사용 가능한 용량을 논의하기 위한 실용적인 어휘를 제공합니다: 지속적인 GPU 가용성, 레이턴시, 냉각 여유도 및 운영 제약.

Cook은 한 가지 최종 요구사항을 강조합니다: 소유자-운영자는 자신의 운영 데이터에 접근하고, 구조화하고, 사용할 수 있는 능력을 보호해야 합니다. 데이터를 추출하기 어렵거나, 구조가 불충분하거나, 독점적 환경에 잠겨 있다면, 이는 미래의 의사결정을 제한하고 성능을 비교하거나, 새로운 도구를 도입하거나, 워크로드 변화에 대응하기 어렵게 만듭니다. 새로운 용량에 대한 수요가 계속됨에 따라, 운영 인텔리전스는 인수인계 후 운영 팀과 함께 남아 있기보다는 설계 및 전달에 영향을 미쳐야 합니다.