Google Cloud는 AI 워크로드를 위한 현재까지 가장 강력한 슈퍼컴퓨터 구축을 발표합니다.

Google이 AI 목적의 클라우드 인프라 제공에 대한 지속적인 노력의 일환으로 새로운 A3 클라우드 슈퍼컴퓨터를 발표했으며, 현재 비공개 프리뷰로 이용 가능합니다. 회사의 블로그 포스트에 따르면, "Google Compute Engine A3 슈퍼컴퓨터는 오늘날의 생성형 AI와 대규모 언어 모델 혁신을 지원하는 가장 까다로운 AI 모델을 학습시키고 서빙하기 위해 특별히 설계되었습니다." A3는 Nvidia H100 GPU를 사용하며, 이는 이전 A2를 구동했던 널리 사용되는 A100의 후속 제품이며 2022년 11월에 출시되어 생성형 AI 경쟁을 촉발한 ChatGPT를 구동하는 데도 사용됩니다.

A3의 주요 혁신은 GPU가 Google의 맞춤 설계 200 Gbps VPU를 사용할 첫 번째 VM을 나타낸다는 것이며, 이는 이전 A2 VM의 10배 네트워크 대역폭을 제공합니다. 이 시스템은 수만 개의 상호 연결된 GPU로 확장할 수 있는 Google의 Jupiter 데이터 센터를 활용하며 "필요에 따라 토폴로지를 조정할 수 있는 전체 대역폭 재구성 가능 광학 링크를 제공합니다." Google은 "워크로드 대역폭이... 더 비싼 기성 비블로킹 네트워크 패브릭과 구별할 수 없으며, 더 낮은 TCO를 초래합니다"라고 주장합니다.

A3는 상당한 성능 개선을 제공하며, 최대 26 exaFlops의 AI 성능을 제공하여 대규모 ML 모델 학습의 시간과 비용을 상당히 개선합니다. 생성형 AI가 수행하는 실제 작업인 추론 워크로드의 경우, Google은 A3가 A2 대비 30배의 추론 성능 향상을 달성한다고 주장합니다. 이 시스템의 주요 사양으로는 3.6 TB/s의 이등분 대역폭을 가진 8개의 H100, 차세대 4th Gen Intel Xeon Scalable 프로세서, 그리고 4800 MHz DDR5 DIMM을 통한 2TB의 호스트 메모리가 포함됩니다. NVIDIA의 하이퍼스케일 및 고성능 컴퓨팅 부사장인 Ian Buck에 따르면, "차세대 NVIDIA H100 GPU로 구동되는 Google Cloud의 A3 VM은 생성형 AI 애플리케이션의 학습 및 서빙을 가속화할 것입니다."

고객들은 Google Kubernetes Engine(GKE) 및 Compute Engine에서 A3를 배포할 수 있으며, 자동 확장 및 워크로드 오케스트레이션 지원뿐만 아니라 자동 업그레이드를 받습니다. Google I/O 2023에서 회사는 Vertex AI의 생성형 AI 지원이 더 많은 고객에게 제공될 것이라고 발표했으며, 이를 통해 유지 관리 필요성이 없는 완전히 관리되는 인프라에서 ML 모델을 구축할 수 있습니다. Google은 소비자 대면 도구를 출시하기보다는 AI 인프라에 B2B 접근 방식을 취하고 있으며, 같은 컨퍼런스에서 최신 대규모 언어 모델의 후속 제품인 PaLM 2도 발표했습니다.