AWS는 제3자 냉각 공급업체에 의존하는 대신 Nvidia GPU 클러스터를 위해 커스텀 IRHX 냉각 솔루션을 배포하고 있습니다.

Amazon Web Services는 Nvidia의 최신 GPU 아키텍처의 열 수요를 처리하기 위해 In-Row Heat Exchanger(IRHX)라는 독점 냉각 시스템을 개발했습니다. AWS의 Compute and ML Services 담당 VP인 Dave Brown에 따르면, 기존의 액체 냉각 솔루션은 회사의 요구에 충분하지 못했습니다. "이러한 솔루션들은 데이터 센터 바닥 공간을 너무 많이 차지하거나, 여전히 데이터 센터의 주요 수정이 필요하거나, 물 사용량을 상당히 증가시킬 것입니다"라고 Brown은 프레젠테이션에서 말했습니다. 그는 "다른 제공업체에서 낮은 볼륨으로는 이러한 솔루션 중 일부가 작동할 수 있지만, 우리의 규모를 지원하기에는 액체 냉각 용량이 충분하지 않을 것입니다"라고 덧붙였습니다.

IRHX 시스템은 펌프 장치, 물 분배 캐비닛 및 팬 코일로 구성되어 있으며, 이들이 함께 작동하여 AWS의 하드웨어를 냉각합니다. 액체는 AWS와 Nvidia가 공동으로 설계한 콜드 플레이트를 통해 칩을 냉각한 후, IRHX를 통해 다시 순환하며, 여기서 냉각되어 방출됩니다. 이 설계는 AWS가 기존 데이터 센터 인프라의 재설계 없이 열 관리를 유지할 수 있도록 해줍니다.

이 시스템은 AWS의 가장 강력한 EC2 인스턴스인 P6e UltraServer를 구동하며, 여기에는 Nvidia GB200 NVL72가 포함됩니다. Brown에 따르면, 이 구성은 "72개의 Nvidia Blackwell GPU를 단일의 거대한 GPU로 동작하도록 합니다". IRHX는 기존 AWS 랙 크기 및 인프라에 맞으며, 현재 시설의 수정 없이 전 세계 데이터 센터에 배포할 수 있습니다. Brown이 설명한 대로, "IRHX를 사용하면 데이터 센터를 랙 주위에 설계할 필요가 없습니다".

현재는 Nvidia의 Blackwell 기반 시스템과 함께 사용되고 있지만, IRHX는 향후 냉각 요구사항이 증가할 경우 Amazon의 자체 Graviton 칩과 함께 사용될 가능성이 높습니다. 이 맞춤형 냉각 솔루션은 성능과 계산 능력을 모두 요구하는 AI 워크로드에 대응하기 위해 칩 및 네트워킹 시스템을 포함한 독점 하드웨어를 구축하고 규모에 맞는 인프라를 지원하는 AWS의 확립된 전략을 확대합니다.