Nvidia의 Rubin GPU가 Google의 가상 머신에 탑재되어 100만 개에 가까운 GPU의 다중 사이트 클러스터를 구현합니다.

Google과 NVIDIA는 새롭게 출시된 A5X 인스턴스를 지원하기 위해 최대 100만 개의 NVIDIA GPU에 대한 액세스를 제공하는 파트너십을 발표했습니다. A5X 인스턴스는 에이전트형 인공지능 워크로드를 실행하기 위해 특별히 설계된 Google의 최신 제품이며, 회사의 Gemini 플랫폼과 소비자 및 엔터프라이즈 AI 서비스를 강화하는 Google의 AI Hypercomputer 포트폴리오의 일부입니다. 이들 인스턴스는 AI 워크로드를 위한 단일 및 다중 클러스터 컴퓨팅 인프라의 개발을 가능하게 하는 NVIDIA의 네트워크 액셀러레이터에 의존합니다.

A5X 인스턴스는 NVIDIA의 최신 Vera Rubin AI GPU와 함께 작동하도록 설계된 Google의 첫 번째 제품을 나타냅니다. 발표에 따르면, A5X는 이더넷에서 실행되는 클라우드 인프라의 AI 워크로드를 가속화하도록 설계된 NVIDIA의 ConnectX-9 NIC를 사용할 것입니다. 이러한 새로운 기능은 AI 에이전트 그룹이 문제 또는 작업을 해결하기 위해 단계별 접근 방식을 취하는 에이전트형 AI 워크로드를 위해 특별히 설계되었습니다.

Google의 Virgo 플랫폼은 단일 데이터 센터 내 및 여러 사이트 전체에서 여러 AI 칩을 연결함으로써 이 인프라를 가능하게 하는 중심적인 역할을 합니다. ConnectX-9 NIC와 Google의 Virgo 플랫폼은 사용자들이 단일 클러스터에서 최대 80,000개의 Rubin GPU와 다중 사이트 클러스터에서 960,000개의 GPU에 액세스할 수 있도록 할 것입니다. Virgo는 또한 Google의 tensor processing unit(TPU)을 지원하며, 단일 데이터 센터에서 최대 134,000개의 TPU와 여러 사이트 전체에서 100만 개 이상의 칩을 연결할 수 있습니다.

NVIDIA에 따르면, A5X 인스턴스는 이전 세대에 비해 토큰당 10배 낮은 추론 비용과 메가와트당 10배 높은 처리량을 제공할 수 있습니다. NVIDIA는 또한 물리적 및 산업용 AI 애플리케이션을 강조했으며, Cadence 및 Siemens와 같은 기업의 제품이 자신의 인프라를 통해 지원되고 Google Cloud에서 사용 가능하다고 지적했습니다. 발표에는 Google의 Gemini 플랫폼이 사이버보안과 같은 산업 전반에 걸쳐 에이전트형 모델과 워크플로우를 배포할 수 있다는 내용도 포함됩니다.