NVIDIA가 네 개의 Blackwell GPU, 듀얼 Grace CPU, 1.7TB 메모리, 5.4kW 전력 요구사항을 갖춘 GB200 NVL4를 공개했습니다.

NVIDIA는 새로운 GB200 NVL4를 발표했으며, 이는 원래의 GB200 Grace Blackwell Superchip AI 솔루션의 상당한 확장을 나타내는 모듈입니다. 새로운 GB200 NVL4는 더 큰 보드에 구성된 2개의 Blackwell GB200 GPU와 2개의 Grace CPU를 특징으로 하며, 이 모듈은 1.3TB의 코히런트 메모리 풀을 제어하는 4-way NVLink 도메인을 갖춘 단일 서버 솔루션으로 설계되었습니다.

GB200 NVL4는 이전 세대 Hopper GH200 NVL4에 비해 상당한 성능 개선을 제공하며, 시뮬레이션에서 2.2배의 성능과 교육 및 추론 성능에서 1.8배의 증가를 제공합니다. 개별 GB200 Grace Blackwell Superchip이 약 2700W의 전력을 사용하는 반면, 더 큰 GB200 NVL4 솔루션은 확장된 기능을 지원하기 위해 약 6000W의 전력이 필요합니다.

새로운 GB200 NVL4는 NVLink를 통해 모든 4개의 GB200 GPU에 걸쳐 공유되는 1.3TB의 코히런트 메모리를 특징으로 합니다. NVIDIA는 자신의 5세대 NVLink 칩 간 상호연결이 GPU당 최대 1.8TB/초의 양방향 처리량을 갖춘 CPU와 GPU 간의 고속 통신을 가능하게 한다고 지적합니다.

GB200 NVL4 발표에 추가로, NVIDIA는 PCIe 기반 Hopper 카드 솔루션인 H200 NVL의 도입으로 Hopper 제품 스택의 확장을 공개했습니다. H200 NVL은 NVLink 도메인을 통해 최대 4개의 GPU를 연결할 수 있으며, 표준 PCIe 솔루션의 7배 대역폭을 제공하고 하이브리드 HPC 및 AI 워크로드에 최적화된 유연한 서버 구성을 제공합니다.

H200 NVL의 사양에는 이전 세대에 비해 1.5배 더 많은 HBM 메모리와 1.7배의 LLM 추론 성능이 포함되며, 1.3배의 HPC 성능도 포함됩니다. 이 카드는 총 114개의 SM과 14,592개의 CUDA 코어, 456개의 Tensor 코어, 그리고 최대 3TFLOPs의 FP8(FP16 누적) 성능을 특징으로 합니다. 5120비트 메모리 인터페이스에서 80GB의 HBM2e 메모리와 최대 350W TDP를 포함합니다.