Google Cloud는 AI 인프라 운영을 위한 6세대 TPU를 발표합니다.

Google Cloud가 10월 30일 App Day & Infrastructure Summit에서 새로운 TPU와 NVIDIA GPU로 AI 클라우드 인프라를 강화할 것이라고 발표했습니다. 5월에 처음 발표된 6세대 Trillium NPU는 현재 클라우드 고객을 위한 미리보기 상태이며 Search와 Maps 등 Google Cloud의 가장 인기 있는 많은 서비스를 구동합니다. Google Cloud의 Compute and AI Infrastructure 담당 VP이자 GM인 Mark Lohmeyer는 "AI 인프라의 이러한 발전을 통해 Google Cloud는 기업과 연구자들이 AI 혁신의 경계를 재정의할 수 있도록 지원합니다"라고 말했습니다. "우리는 이 강력한 기반에서 나타날 혁신적인 새로운 AI 애플리케이션을 기대하고 있습니다."

6세대 Trillium NPU는 하나의 TPU 클러스터에서 91 exaflops의 속도로 대규모 언어 모델 애플리케이션의 학습, 추론 및 배포를 제공합니다. 새 버전은 5세대 대비 칩당 피크 컴퓨팅 성능이 4.7배 증가했으며, High Bandwidth Memory 용량이 2배 증가했고, Interchip Interconnect 대역폭이 2배 증가했습니다. Trillium 인프라는 Stable Diffusion XL과 같은 대규모 확산 모델의 높은 컴퓨팅 요구사항을 충족하며 수만 개의 칩을 연결하여 Google Cloud가 "건물 규모의 슈퍼컴퓨터"라고 설명하는 것을 만들어냅니다. 모바일 앱 개발 회사 HubX의 개발 책임자인 Deniz Tuna는 다음과 같이 언급했습니다: "우리는 MaxDiffusion & FLUX.1을 사용하여 Trillium TPU로 텍스트-이미지 생성을 수행했으며 결과가 놀랍습니다! 우리는 7초 안에 4개의 이미지를 생성할 수 있었습니다 — 이는 응답 지연 시간이 35% 개선되었고 우리의 현재 시스템 대비 이미지당 비용이 약 45% 감소했습니다!"

11월에 Google은 NVIDIA H200 Tensor Core GPU로 구동되는 A3 Ultra VM을 클라우드 서비스에 추가할 것입니다. A3 Ultra VM은 Google Cloud의 데이터센터 전체 네트워크에서 GPU-to-GPU 트래픽 3.2 Tbps로 AI 및 고성능 컴퓨팅 워크로드를 실행하며 Google Cloud 또는 Google Kubernetes Engine을 통해 이용할 수 있습니다. Titanium ML 네트워크 어댑터는 NVIDIA ConnectX-7 하드웨어와 Google Cloud의 데이터센터 전체 4방향 레일 정렬 네트워크를 사용하여 GPU-to-GPU 트래픽 3.2 Tbps를 제공하며, Google Cloud의 광 회로 교환 네트워크 구조를 향상시킵니다.

Hypercompute Cluster는 A3 Ultra VM을 포함하며 API 호출을 통해 구성할 수 있으며, JAX 또는 PyTorch와 같은 참조 라이브러리를 활용하고, 벤치마킹을 위해 Gemma2 및 Llama3과 같은 오픈소스 AI 모델을 지원합니다. Google Cloud 고객은 11월에 A3 Ultra VM 및 Titanium ML 네트워크 어댑터를 사용하여 Hypercompute Cluster에 접근할 수 있습니다. 추가로, Google Cloud는 NVIDIA의 곧 출시될 Blackwell GB200 NVL72 GPU를 위한 랙을 준비하고 있으며, 이는 2025년 초에 하이퍼스케일러의 도입이 예상되고 Google의 Axion 프로세서 기반 VM 서비스에 연결될 예정입니다.