Blackwell GPU는 생산 단계에서 확인되었으며 NVLINK가 1.4 TB/s 대역폭으로 업그레이드되고 새로운 FP4 GenAI 데이터 타입이 추가되었습니다.

NVIDIA는 Hot Chips 행사 전 보도 세션에서 자사 데이터 센터 중 하나에서 실행 중인 Blackwell 칩을 시연함으로써 최근 출시 지연 관련 루머를 해소했습니다. 회사는 Blackwell이 정상적으로 진행 중이며 올해 말 고객들에게 배송될 것이라고 재확인했으며, 결함이나 시장 지연에 대한 추측을 일축했습니다.

Blackwell은 단일 칩이 아니라 데이터 센터, 클라우드 및 AI 고객을 위한 광범위한 디자인 배열을 포함하는 전체 플랫폼이며, 각 Blackwell 제품은 다양한 칩으로 구성되어 있습니다. 이 세대는 현대적 AI 요구사항을 해결하고 Meta의 405B Llama-3.1과 같은 대규모 언어 모델에 대한 강력한 성능을 제공하도록 설계되었습니다. LLM이 더 큰 매개변수 크기로 커짐에 따라 데이터 센터는 더 많은 컴퓨팅과 낮은 지연시간을 요구하며, 이를 위해 여러 GPU에 걸쳐 계산을 분할하여 낮은 지연시간과 높은 처리량을 달성하는 다중 GPU 추론 접근 방식이 필요합니다. 이 다중 GPU 환경에서는 각 GPU가 모든 다른 GPU에 각 계층에서 결과를 전송해야 하므로 높은 대역폭의 GPU 간 통신이 필요합니다.

NVIDIA의 솔루션은 NVSwitch를 중심으로 합니다. Hopper NVLINK 스위치는 900 GB/s 상호 연결 대역폭을 통해 전통적인 GPU 간 접근 방식에 비해 최대 1.5배 높은 추론 처리량을 제공하며, NVSwitch로 한 번의 홉만 필요하고 그 후 직접 보조 GPU로 이동합니다. Blackwell과 함께 NVIDIA는 패브릭 대역폭을 1.8 TB/s로 두 배 증가시킨 더 빠른 NVLINK 스위치를 출시했습니다. TSMC의 4NP 노드를 기반으로 한 이 800mm² 다이는 GB200 NVL72 랙의 72개 GPU로 NVLINK를 확장하여 72개 포트에서 7.2 TB/s의 완전한 양방향 대역폭과 3.6 TFLOPs의 네트워크 내 컴퓨팅 기능을 제공합니다. NVLINK 스위치 트레이는 이러한 스위치 2개가 함께 제공되어 최대 14.4 TB/s의 총 대역폭을 제공합니다.

새로운 액체 냉각 솔루션이 GB200, Grace Blackwell GB200 및 B200 시스템에 채택될 것이며, Hot Chips에서 "액체 냉각이 성능과 효율성을 높입니다"에 대한 튜토리얼이 계획되어 있습니다. 온수 다이렉트 투 칩 방식은 냉각 효율성 향상, 운영 비용 절감, IT 서버 수명 연장 및 열 재사용 가능성을 제공하여 데이터 센터 시설 전력 비용을 최대 28% 감소시킵니다. NVIDIA는 또한 Quasar Quantization 시스템의 일부로 FP4 계산을 사용하여 생성된 세계 최초의 생성 AI 이미지를 선보이고 있으며, FP4 양자화 모델은 Stable Diffusion을 통해 FP16 모델과 매우 유사한 결과를 훨씬 빠른 속도로 생성합니다. 회사는 AI를 활용하여 AI를 위한 칩을 구축하고 있으며, 생성 AI를 사용하여 최적화된 Verilog 코드(회로 설명 및 프로세서 검증을 위한 하드웨어 설명 언어)를 생성하여 차세대 칩 아키텍처의 속도 향상 및 연간 주기 준수를 가능하게 합니다.

NVIDIA는 내년 HBM3e 메모리 288 GB, 증가된 컴퓨팅 밀도 및 더 많은 AI FLOP을 갖춘 Blackwell Ultra GPU를 출시할 것으로 예상되며, 2026년과 2027년에 각각 Rubin 및 Rubin Ultra GPU가 뒤따를 것입니다.