AMD는 120만 개의 GPU로 구동되는 세계 최고 성능의 AI 슈퍼컴퓨터를 구축하도록 요청받고 있습니다.

AMD에 따르면 데이터 센터의 컴퓨팅 파워 수요가 놀라운 속도로 증가하고 있습니다. 이 회사는 120만 개 이상의 GPU를 탑재한 단일 AI 클러스터 구축에 대한 진지한 문의를 받았다고 밝혔습니다. 이는 The Next Platform이 데이터 센터에서의 AMD의 미래에 대해 AMD의 EVP이자 Datacenter Solutions Group의 GM인 Forrest Norrod와 나눈 대화에서 나온 것입니다. 120만 개 GPU 규모의 클러스터에 대한 문의를 받았는지 직접 질문받자 Forrest는 그 평가가 거의 정확하다고 확인하며 "그 정도 규모입니다, 맞습니다"라고 말하고 "저는 하나의 시스템에 대해 이야기하고 있습니다"라고 강조했습니다.

120만 개의 GPU 규모는 현존하는 인프라와 비교할 때 매우 놀라운 수준입니다. 현재 운영 중인 가장 빠른 슈퍼컴퓨터인 Frontier도 "겨우" 37,888개의 GPU만 보유하고 있습니다. 세계에서 가장 강력한 슈퍼컴퓨터들도 수백만 개의 GPU 규모에 도달하지 못하므로, 이러한 클러스터는 현재의 가장 큰 알려진 클러스터보다 30배 더 클 것입니다.

이러한 규모의 AI 클러스터 구축은 깊이 있는 기술적 과제를 제시합니다. AI 워크로드는 특히 꼬리 지연(tail latency)과 이상치에 매우 민감하며, 특정 데이터 전송이 다른 전송보다 훨씬 오래 걸려 워크로드를 방해하곤 합니다. 또한 현재 규모에서 몇 시간마다 발생하는 GPU 또는 다른 하드웨어 장애를 현대의 슈퍼컴퓨터가 완화해야 하는데, 이러한 전례 없는 규모로 확장할 경우 이 문제들은 훨씬 더 심각해질 것입니다. 운영상 우려를 넘어 필요한 전력 공급은 핵발전소 규모에 달할 것입니다.

이러한 장애물에도 불구하고 백만 개 GPU 클러스터에 대한 탐구는 2020년대를 형성하는 AI 경쟁의 강도를 반영합니다. Forrest는 이러한 규모의 시스템 구축을 고려하고 있는 조직이 어디인지는 밝히지 않았지만, "매우 분별 있는 사람들"이 AI 훈련 클러스터에 수십억에서 수백억 달러를 지출할 것을 고려하고 있으며, 이것이 수백만 개 GPU 클러스터가 고려되고 있는 이유를 설명한다고 지적했습니다. 이러한 규모의 달성이 가능성의 영역 내에 있다면, 경쟁 압력은 더 큰 AI 처리 능력을 추구하기 위해 누군가 이를 시도할 것을 시사합니다.