Nvidia Blackwell Ultra가 7개의 MLPerf AI 훈련 벤치마크를 모두 차지; GB300 NVL72이 10분 Llama 405B 훈련 기록을 달성했습니다.

Nvidia는 Blackwell Ultra 기반 GB300 NVL72 플랫폼이 모든 MLPerf 학습 벤치마크에서 1위를 확보했다고 발표했습니다. 회사는 모든 MLPerf 테스트에서 결과를 제출한 유일한 업체라고 주장하며, 자신과 경쟁사 간의 성능 격차를 확대했습니다.

벤치마크 결과는 핵심 학습 워크로드에서 Blackwell Ultra GPU의 현저히 우수한 성능을 입증합니다. Llama 3.1 40B 사전학습에서 GB300 GPU는 H100 대비 4배 이상의 성능을, Blackwell GB200 대비 거의 2배의 성능을 제공합니다. 마찬가지로 Llama 2 70B 미세조정에서 8개의 GB300 GPU는 H100 대비 5배의 성능을 제공했습니다.

Nvidia는 경쟁사에 대한 상당한 이점을 제공하는 CUDA 에코시스템을 포함한 다양한 요소에 자신의 우위를 돌립니다. 랙 시스템은 800 GB/s 네트워킹의 Quantum-X800 InfiniBand와 함께 구성됩니다. GB300 NVL72는 GPU당 279 GB HBM3e 메모리를 제공하며, GPU 및 CPU 메모리를 합친 놀라운 40 TB 총 용량으로 AI 워크로드를 가속화합니다.

이러한 성능 향상을 가능하게 하는 핵심 전략은 FP8 대비 계산 속도를 2배로 높이는 모든 계층에서의 LLM 학습용 FP4 정밀도 채택입니다. Blackwell Ultra는 이를 3배로 더 향상시켜, 회사가 GPU 수를 증가시키지 않고도 우수한 성능을 달성할 수 있도록 합니다. Llama 3.1 405B 벤치마크의 경우, 5,120개의 Blackwell GB200 GPU를 사용하여 결과를 달성했으며, 학습에 단 10분이 소요되었습니다.