Elon Musk의 xAI가 Colossus 배포, 단 3개월 만에 구축 및 운영되는 100,000개 H100 NVIDIA GPU 슈퍼컴퓨터, H200 업그레이드 계획 중

일론 머스크의 벤처 기업 xAI가 122일간의 개발 기간을 마치고 노동절(Labor Day)에 슈퍼컴퓨터 콜로서스(Colossus)를 가동했습니다. 머스크에 따르면 콜로서스는 "세계에서 가장 강력한 AI 학습 시스템"으로, 10만 개의 엔비디아 H100 데이터센터 GPU를 탑재하여 이러한 대량의 H100을 사용하는 최대 규모의 학습 클러스터입니다.

머스크는 콜로서스가 몇 달 내에 5만 개의 H200 GPU 추가를 통해 20만 개 GPU 규모로 두 배 커질 것이라고 발표했습니다. H200은 호퍼(Hopper) 아키텍처를 사용하는 플래그십 데이터센터 GPU로, H100보다 훨씬 강력하여 특정 생성형 AI 및 고성능 컴퓨팅(HPC) 애플리케이션에서 약 45% 더 높은 연산 성능을 제공합니다.

xAI의 콜로서스 프로젝트는 6월 멤피스에서 시작되어 7월에 학습이 시작되었습니다. 이 슈퍼컴퓨터는 12월까지 GROK 3를 출시하기 위해 설계되었으며, 이는 GROK 2를 대체할 것입니다. xAI가 오라클(Oracle)과의 서버 임대 계약을 종료한 후 이 새로운 슈퍼클러스터가 등장했으며, 현재 콜로서스는 오라클이 제공할 수 있는 것보다 더 많은 처리 능력을 제공하고 있으며, 곧 5만 개의 H200 GPU 추가를 통해 성능이 두 배가 될 예정입니다.

H200은 H100의 3.35TB/s 대비 4.8TB/s로 훨씬 더 높은 메모리 대역폭과 거의 61GB 더 많은 메모리를 제공합니다. 그러나 H200은 H100보다 300W 더 많은 전력을 소비하며, 콜로서스에 이미 배치된 H100들과 마찬가지로 액체 냉각이 필요합니다. 현재 콜로서스는 10만 개의 NVIDIA GPU를 달성한 유일한 슈퍼컴퓨터이며, 그 뒤를 이어 구글 AI(Google AI)가 9만 개, 오픈AI(OpenAI)가 8만 개의 H100 GPU, 메타 AI(Meta AI)가 7만 개, 마이크로소프트 AI(Microsoft AI)가 6만 개의 GPU를 보유하고 있습니다.