Nvidia는 스케일된 AI 컴퓨팅 시스템을 위한 고밀도 GPU 인터커넥트를 실현하는 NVLink Switch 도입.

데이터 센터는 AI 시대의 핵심이지만, 기하급수적인 성능 증가를 충족하려면 전력 및 열 제한을 극복하기 위한 전체적인 설계 접근 방식이 필요합니다. 혁신은 컴퓨팅 아키텍처, 메모리, 전원, 전력 분배 및 냉각 솔루션에 걸쳐 있습니다. 그러나 네트워킹은 성능과 지연 시간에 가장 큰 영향을 미칠 것이며, 처리 워크로드의 특성을 변경할 가능성도 있습니다. 올해 소개된 가장 중요한 혁신 중 하나는 GB200 NVL72 exascale 랙 컴퓨터 시스템용 Nvidia의 NVLink Switch입니다.

NVLink Switch는 모든 포트가 고속 효율 컴퓨팅 상호연결인 NVLink를 통해 다른 포트와 직접 통신할 수 있는 크로스바 네트워크 스위치 아키텍처입니다. 초기 NVLink Switch는 DGX-2 플랫폼에서 초당 50기가바이트(GB/s)의 양방향 논블로킹 통신 링크를 지원했습니다. Nvidia는 NVLink와 NVLink Switch 기술을 계속 개선해왔습니다. 현재 Blackwell 세대의 GPU 및 GB200 NVL72 시스템의 경우, 5세대 NVLink는 링크당 100GB/s를 제공합니다. 18개 포트가 있는 Blackwell GPU는 GPU당 초당 1.8테라바이트(TB/s)의 대역폭을 지원합니다. GB200 NVL72 시스템 랙은 36개의 Nvidia Grace CPU와 72개의 Blackwell GPU를 연결하는 18개의 NVLink Switch를 갖추고 있으며, 총 시스템 논블로킹 통신 대역폭은 130 TB/s입니다. 노드 전체를 연결하기 위해 NVLink Switch를 사용할 수 있는 능력으로 최대 576개의 GPU까지 확장할 수 있습니다.

이러한 개선사항과 광범위한 시스템 설계가 결합되면 가장 밀도 높은 서버 구성 중 하나를 가능하게 하여 전체 성능과 효율성이 향상됩니다. 특히 액체 냉각을 포함한 높은 전력과 복잡한 인프라 요구 사항으로 인해 기존 데이터 센터가 모든 랙을 교체할 수는 없지만, 기존 데이터 센터는 훨씬 적은 공간에서 더 많은 AI 및 HPC 워크로드를 수행할 수 있습니다. 새로운 AI 및 HPC 데이터 센터는 더 작은 규모를 위해 또는 전체 규모 데이터 센터의 고유한 인프라 요구 사항을 계획하기 위해 이러한 공간 효율성을 염두에 두고 설계할 수 있습니다.

진정한 가치는 AI 및 HPC 워크로드의 지속적으로 증가하는 수요를 충족하는 데 있습니다. Nvidia에 따르면, GB200 NVL72는 27조 개의 매개변수 모델 규모를 지원할 수 있으며, 이는 GPT-4 및 4o와 같은 생성형 AI(GenAI)용 현재 가장 큰 대형 언어 모델(LLM)의 규모를 초과합니다. 이러한 대형 모델을 기초 모델로 사용하여 더 작고 최적화된 모델을 개발하려는 움직임이 있지만, 가장 큰 모델은 과학 분석 및 인공 일반 지능(AGI) 추진 같은 애플리케이션을 위해 계속 성장할 것입니다. GB200 NVL72의 리소스는 여러 워크로드를 지원하도록 분할할 수도 있어 AI 훈련 및 추론 처리 모두에 대한 효율성을 제공합니다. NVLink Switch는 AI 워크로드 확장 및 데이터 센터 효율성을 개선하여 AI를 더욱 비용 효과적으로 만들 수 있도록 하는 필수적인 혁신을 나타냅니다.