NVIDIA가 4,608개의 H100 GPU로 구동되는 Eos 슈퍼컴퓨터를 시연했으며 생성 AI에 최적화되었다.

엔비디아는 목요일, 데이터센터 규모에서 고급 AI 개발을 위해 설계된 엔비디아의 최신 기업용 슈퍼컴퓨터이자 동사 최고 속도의 AI 슈퍼컴퓨터인 'Eos'의 아키텍처를 공개한 최초의 영상을 발표했다. 현재 엔비디아 자체적으로 사용 중인 Eos 시스템은 FP64 기준 최신 Top 500 목록에서 세계 9위 성능을 기록했으며, 순수 AI 작업에서는 가장 빠른 시스템 중 하나로 평가된다. Eos의 설계도는 다른 기업들도 기업용 슈퍼컴퓨터를 구축하는 데 활용할 수 있다.

Eos는 각각 8개의 엔비디아 H100 GPU를 탑재한 DGX H100 시스템 576대로 구성되어 있으며, 이는 인공지능 및 고성능 컴퓨팅(HPC) 워크로드에 최적화되어 있다. 전체 시스템에는 코어 수가 56개인 인텔 Xeon Platinum 8480C 프로세서 1,152개와 H100 GPU 4,608개가 탑재되어 있다. 이러한 구성으로 인해 Eos는 HPC 및 AI 워크로드 각각에 대해 인상적인 Rmax 121.4 FP64 PetaFLOPS와 18.4 FP8 ExaFLOPS 성능을 달성한다.

Eos의 설계는 DGX SuperPOD 아키텍처에 기반하며, AI 워크로드와 확장성을 위해 특별히 제작되었다. 이 시스템은 최대 400Gb/s의 데이터 전송 속도를 지원하는 엔비디아 Mellanox Quantum-2 InfiniBand와 In-Network Computing 기술을 채택하여 대규모 AI 모델 학습과 스케일아웃에 필수적인 고속 통신을 제공한다. 엔비디아는 "Eos는 AI 개발 및 배포 소프트웨어, 오케스트레이션 및 클러스터 관리, 가속화된 컴퓨팅 스토리지 및 네트워크 라이브러리, 그리고 AI 워크로드에 최적화된 운영체제를 포함한 통합 소프트웨어 스택을 갖추고 있다"고 밝혔다.

Saturn 5 및 Selene과 같은 기존 엔비디아 DGX 슈퍼컴퓨터에서 얻은 지식을 바탕으로 구축된 Eos는 엔비디아의 AI 전문성을 보여주는 최신 사례다. 엔비디아는 영상에서 "매일 EOS는 수천 명의 엔비디아 내부 개발자들이 AI 연구를 수행하며 이전에 풀 수 없었던 문제들을 해결할 수 있도록 돕는 도전을 맞이한다"고 말했다. 회사는 또한 "Eos와 같은 AI 팩토리를 구축함으로써 기업들은 가장 까다로운 프로젝트를 수행하고 오늘 그리고 미래에도 AI 비전을 실현할 수 있다"고 덧붙였다. 이 시스템은 ChatGPT와 같은 생성형 AI부터 AI 팩토리까지 다양한 애플리케이션을 처리할 수 있다.

Eos의 정확한 비용은 공개되지 않았으며, 엔비디아 DGX H100 시스템의 가격은 볼륨 등 여러 요인에 따라 비밀리에 유지되고 있다. 그러나 개별 엔비디아 H100 GPU의 가격이 볼륨에 따라 $30,000에서 $40,000 사이이므로, 전체 시스템 비용은 상당할 것으로 예상된다.