NVIDIA가 칩 직접 액냉식 기술을 도입하여 성능 밀도와 에너지 효율을 동시에 개선한다.
Nvidia는 인공지능 산업을 재편할 수 있는 블로그 포스트를 발표했습니다. 게시물에서 Nvidia의 기업 지속가능성 책임자인 Josh Parker는 회사의 새로운 폐루프 액체 냉각 시스템이 AI의 가장 시급한 문제 중 하나인 데이터센터 물 소비를 거의 0으로 줄이면서 냉각 관련 에너지 사용을 최대 40%까지 감소시킬 수 있다는 점을 밝혔습니다.
이 획기적인 기술은 Nvidia의 Rubin 아키텍처 서버가 냉각 액체를 최대 45도 섭씨(113도 화씨) 온도에서 작동하도록 함으로써 작동합니다—일반적인 온탕(38~40도 섭씨)보다 더 뜨겁지만 더욱 에너지 효율적입니다. 대부분의 칠러와 팬을 제거하고 물 의존성을 줄임으로써, 이 시스템은 장치 온도를 최적 작동 범위 내에서 유지하면서 추가 컴퓨팅 용량을 위한 공간과 전력을 확보합니다.
Parker는 Rubin이 "100% 액체 냉각을 달성한 세계 최초의 시스템으로 모든 칩과 모든 네트워킹 구성요소가 시스템의 어디에도 팬이 없는 폐루프의 액체로 완전히 냉각된다"고 지적했습니다. 냉각액은 75% 물과 25% 프로필렌 글리콜의 혼합물로, 부동액과 유사하게 제조됩니다. 열은 칩에서 직접 포착되어 더 높은 온도에서 작동하는 액체 루프를 통해 전달되며, 이를 통해 옥외 드라이 쿨러가 열을 효율적으로 배출하면서 칠러, 냉각 팬 및 물 요구사항을 크게 줄입니다. 폐루프 설계는 한 번 냉각액으로 채워지며 데이터센터의 작동 기간 동안 밀폐 상태로 유지됩니다.
온화하고 시원한 기후에서 이 아키텍처는 데이터센터 물 사용량을 연간 메가와트당 약 260만 갤런에서 거의 0으로 줄일 수 있으며, 이는 100% 절감입니다. Nvidia의 데이터센터 냉각 및 인프라 담당 이사인 Ali Heydari는 "드라이 쿨러 기반 설계를 사용하면, 이는 증발식 수냉각이 없는 폐루프 시스템입니다—일부 [더 따뜻한] 기후에서 칠러가 필요할 수 있는 연간 약 1%를 제외하고"라고 밝혔습니다.
해결하는 문제는 심각합니다. 워크로드를 실행하는 모든 AI 칩은 열을 생성합니다. 그래픽 처리 장치는 무거운 워크로드 중에 105도 섭씨(221도 화씨)에 도달할 수 있습니다. Nvidia의 Blackwell 랙 아키텍처가 랙당 100 킬로와트를 향해 확장됨에 따라—AMD 및 하이퍼스케일러 실리콘이 밀도를 더 높이고 있습니다—냉각은 데이터센터 작동의 제약 요소가 됩니다. 에어 냉각은 이를 규모로 해결할 수 없습니다. 액체 냉각이 필요한 랙 밀도에 유일한 입증된 솔루션입니다.
대규모 데이터센터는 일일 최대 500만 갤런의 물을 소비합니다—50,000명 도시의 소비량과 동일합니다. 이는 가뭄이 잦은 지역의 물 공급에 부담을 줍니다. Georgia는 최근 중간에서 심각한 가뭄을 경험했으며 Fayetteville(Atlanta 외곽 20마일)의 데이터센터 캠퍼스는 주민들이 낮은 수압을 경험할 때까지 현지 인식 없이 지역에서 거의 3,000만 갤런을 뽑아냈습니다. 참고로, 3,000만 갤런은 44개의 올림픽 규모 수영장을 채울 수 있습니다.
전력 수요도 마찬가지로 엄청납니다. 환경 및 에너지 연구 기관(Environmental and Energy Study Institute)은 미국 데이터센터가 2030년까지 연간 130 기가와트의 전력을 필요로 할 수 있다고 추정합니다—약 1억 1,400만 가구에 전력을 공급하기에 충분하며, 미국의 1억 4,800만 가구 중 상당한 부분과 동등합니다. Gartner는 AI 데이터센터의 전력 수요가 2030년까지 두 배가 될 것으로 예측하며, 현재의 448 테라와트시에서 10년 말 980 TWh로 증가하여 전 세계 전력 소비량의 약 3%를 나타냅니다. McKinsey 데이터에 따르면 데이터센터의 전력 소비량 중 최대 40%가 현재 냉각만으로 인한 것입니다.
기존의 에어 냉각은 추가적인 작동 문제를 야기합니다: 85데시벨에 달하는 냉각 팬, "콜드 통로"에서 64.4도 화씨, "핫 통로"에서 95~110도 화씨의 온도 변동성, 그리고 상당한 공간 비효율성입니다. Nvidia의 액체 냉각은 물과 에너지를 절약할 뿐만 아니라 물리적 공간도 확보하며, 이전에 6개 랙 유닛을 차지하던 시스템이 이제 2개에 맞습니다.
주의할 점: Rubin은 여전히 대량 생산 중이며 올해 말까지 출시되지 않을 것입니다. 의미 있는 데이터센터 채택이 일어나기까지 몇 년이 걸릴 것이며, 이는 기존 인프라가 계속 덜 효율적인 냉각 시스템을 사용할 것임을 의미합니다. 또한 에어 냉각 데이터센터는 액체 냉각을 수용하기 위해 개조 인프라가 필요하며, 직접 칩 액체 냉각 설치가 필요합니다.