H100 GPU는 AI 워크로드를 위한 MLPerf v3.0 벤치마크에서 성능 리더십을 확립합니다.

NVIDIA의 H100 Tensor Core GPU는 최신 MLPerf 학습 벤치마크의 8개 테스트 모두에서 새로운 기록을 수립했으며, 특히 새로운 생성형 AI 테스트에서 탁월한 성과를 거두었습니다. 스타트업 Inflection AI가 공동 개발하고 GPU 가속 워크로드 전문 클라우드 서비스 제공업체인 CoreWeave가 운영하는 3,584개의 H100 GPU 클러스터는 대규모 GPT-3 기반 학습 벤치마크를 11분 이내에 완료했습니다. CoreWeave의 공동 창립자이자 CTO인 Brian Venturo는 "당사 고객들은 빠르고 낮은 지연 시간의 InfiniBand 네트워크를 기반으로 한 수천 개의 H100 GPU 덕분에 현재 첨단 생성형 AI와 LLM을 대규모로 구축하고 있습니다"라고 밝혔습니다. DeepMind의 Mustafa와 Karén Simonyan, 그리고 Reid Hoffman이 2022년 초에 공동 창립한 Inflection AI는 이러한 성능을 활용하여 개인용 AI 제품인 Pi를 뒷받침하는 고급 대규모 언어 모델을 구축했습니다. Inflection AI의 CEO인 Mustafa Suleyman은 "CoreWeave의 강력한 H100 GPU 네트워크에서 학습한 당사의 첨단 대규모 언어 모델을 기반으로 누구나 오늘날 개인용 AI의 성능을 경험할 수 있습니다"라고 언급했습니다.

H100 GPU는 대규모 언어 모델, 추천 시스템, 컴퓨터 비전, 의료 영상, 음성 인식을 포함한 모든 벤치마크에서 최고의 성능을 제공했으며, 8개의 테스트 모두를 실행할 수 있는 유일한 칩으로서 NVIDIA AI 플랫폼의 다양성을 입증했습니다. 모든 MLPerf 테스트에서 H100 GPU는 AI 학습을 위한 새로운 대규모 성능 기록을 수립했으며, 제출 규모가 수백 개에서 수천 개의 H100 GPU로 확대됨에 따라 까다로운 LLM 테스트에서 거의 선형에 가까운 성능 확장성을 보였습니다. CoreWeave는 클라우드에서 로컬 데이터 센터에서 실행되는 AI 슈퍼컴퓨터로 NVIDIA가 달성한 것과 유사한 성능을 제공했으며, 이는 CoreWeave가 사용하는 NVIDIA Quantum-2 InfiniBand 네트워킹의 낮은 지연 시간을 입증하는 것입니다. 이번 라운드에서 MLPerf는 또한 더 큰 데이터 세트와 더 최신의 AI 모델로 추천 시스템 벤치마크를 업데이트했으며, NVIDIA는 개선된 벤치마크에 결과를 제출한 유일한 회사입니다.

거의 12개의 회사들이 NVIDIA 플랫폼에서 결과를 제출했으며, ASUS, Dell Technologies, GIGABYTE, Lenovo, QCT를 포함한 주요 시스템 제조업체의 제출물이 있었고, 30개 이상의 제출물이 H100 GPU에서 실행되었습니다. MLPerf 결과는 현재 AI 학습, 추론, HPC 벤치마크에 걸쳐 H100, L4, NVIDIA Jetson 플랫폼에서 사용 가능하며, NVIDIA Grace Hopper 시스템에 대한 향후 제출이 예상됩니다. 벤치마크는 Arm, Baidu, Facebook AI, Google, Harvard, Intel, Microsoft, Stanford, University of Toronto를 포함한 광범위한 그룹의 지원을 받고 있으며, 이는 AI 플랫폼을 평가하는 사용자들에게 투명성과 객관성을 보장합니다. NVIDIA GPU로 가속화된 데이터 센터는 더 적은 수의 서버 노드를 사용하여 랙 공간과 에너지를 절약하며, NVIDIA는 최신 Green500 목록의 상위 30개 슈퍼컴퓨터 중 22개를 지원합니다. 이러한 테스트에 사용된 모든 소프트웨어는 MLPerf 리포지토리에서 사용 가능하며, 최적화 사항은 NVIDIA의 GPU 가속 소프트웨어 카탈로그인 NGC에서 사용 가능한 컨테이너에 지속적으로 통합되어 거의 모든 사람이 이러한 세계 수준의 결과를 달성할 수 있게 합니다.