NVIDIA가 칩-직접 액체 냉각 기술을 발전시켜 개선된 열 관리로 더 높은 밀도의 GPU 배포를 가능하게 함.

데이터 센터는 에너지 집약적 운영으로 인해 증가하는 비판에 직면해 있습니다. 상승하는 컴퓨팅 수요는 상당한 열을 발생시키며, 최적의 작동 온도를 유지하기 위해 다량의 공기와 물이 필요합니다. 이러한 냉각 과제는 토지 부족과 새로운 데이터 센터 개발을 가뭄 취약 지역으로 밀어붙이는 재정적 인센티브로 인해 악화되어 현지 수자원에 추가적인 부담을 주고 있습니다.

AI 하드웨어가 점점 더 고밀도화됨에 따라 기존의 공기 냉각 방식은 실용적 한계에 도달했습니다. 이러한 제약을 인지한 엔비디아(Nvidia)는 AI 인프라의 지속 가능성과 성능 문제를 모두 해결하도록 설계된 폐쇄형 액체 냉각 시스템을 개발했습니다.

이 시스템은 약수온(45°C, 113°F)으로 냉각수를 순환시키는데, 이는 온수 욕조 온도보다 약 5-7°C 높은 수준입니다. 이를 통해 단순화된 냉각 시스템과 전력 소비 감소를 가능하게 합니다. 엔비디아의 독점 냉각수 조성물은 75%의 물과 25%의 글리콜로 구성됩니다. 이 폐쇄형 설계에서 냉각수는 서버를 지속적으로 순환하며 칩에서 초과 열을 직접 제거합니다. 이후 따뜻해진 냉각수는 외부 드라이 쿨러(dry coolers)를 통해 순환하며, 거의 증발하지 않습니다.

"엔비디아 DSX 레퍼런스 디자인은 AI 팩토리를 위한 것으로, 물 소비량이 제로입니다. 우리는 막대한 전력 사용량과 거의 모든 물 사용량을 없앴습니다."라고 엔비디아 데이터 센터 냉각 및 인프라 디렉터인 Ali Heydari는 말했습니다. 전통적인 증발식 냉각 타워와 비교할 때, 이 접근 방식은 적합한 기후 조건에서 냉각 관련 물 소비를 최대 100%까지 줄일 수 있으며, 일반적인 날에는 냉각 타워 자체를 완전히 제거할 수도 있습니다.

이 시스템의 주요 장점은 직접 칩(Direct-to-chip) 액체 냉각에서 비롯됩니다. 여기서는 액체가 CPU와 GPU에 부착된 콜드 플레이트(cold plates)를 통해 직접 흐르며 열원을 포착합니다. 이 방법은 공기 냉각보다 수천 배 더 효과적으로 열을 전달하여, 룸 레벨(room-level) 냉각 방식에 비해 우수한 열 효율을 제공합니다.

성능 이점은 에너지 및 물 절약을 넘어섭니다. 독립 테스트 결과, 엔비디아 H100 시스템은 공기 냉각 대비 워터 쿨링 시 약 17% 더 높은 성능을 발휘했습니다. 지속적인 AI 워크로드 하에서 GPU 온도는 공기 냉각 시 54-72°C였던 반면, 워터 쿨링 시에는 41-50°C 사이를 유지했습니다. 더욱 높은 열 효율은 하드웨어 수명 연장으로 이어질 수도 있습니다.

동등하게 중요한 것은 밀도 개선입니다. 엔비디아의 루빈(Rubin) 시스템은 이제 여섯 개의 랙 대신 두 개의 랙 안에 들어갈 수 있게 되어, 데이터 센터 운영자는 랙당 GPU 수를 늘리고 랙 전력 수준을 높이며 기존 건물 면적 내에서 더 큰 AI 클러스터를 배포할 수 있습니다. "칩당 와트(watts per chip)가 특정 수준을 넘어서자 액체 냉각이 필수적이 되었습니다."라고 모티베이르(Motivair) CEO Richard Whitmore는 지적했습니다.

엔비디아는 올해부터 시작되는 향후 루빈(Rubin) 설치에 이러한 고온 폐쇄형 워터 쿨링 시스템을 도입할 계획입니다.