Google Cloud가 보안 AI 워크로드를 위한 TPU 8tx와 대용량 컨텍스트 창을 갖춘 고용량 추론을 위한 TPU 8i Max를 출시하며 TPU 라인업을 확장하고 있다.
Google Cloud는 월요일, Tensor Processing Unit(TPU) 제품군을 두 가지 신제품으로 확장한다고 발표했습니다. 하나는 TPU 8t 가속기의 보안 강화 버전이고, 다른 하나는 TPU 8i 추론 칩의 용량 확대 버전입니다. 회사는 이 프로세서들이 AI 추론 수요에 대응하기 위한 것이라고 밝혔습니다.
Google Cloud의 AI 및 컴퓨팅 인프라 부사장 겸 총괄 매니저인 Mark Lohmeyer는 이번 신제품이 기업들이 새롭게 요구하는 두 가지 사항, 즉 민감한 AI 워크로드에 대한 더 강력한 보호와 대규모 컨텍스트 윈도우를 활용하는 에이전틱 AI 애플리케이션의 성능 향상을 충족하기 위한 것이라고 말했습니다.
이번 발표는 4월에 출시된 Google Cloud의 8세대 TPU 칩을 기반으로 합니다. 당시 회사는 학습용 TPU 8t를 출시했는데, 이전 세대 대비 학습 성능이 최대 2.7배 향상되었다고 밝혔습니다. 또한 추론용 TPU 8i도 출시했으며, 이는 추론 가격 대비 성능이 80% 개선되었다고 설명했습니다.
**TPU 8tx는 보안을, TPU 8i Max는 용량을 강화**
새로운 가속기 중 하나인 TPU 8tx는 TPU 8t와 동일한 실리콘을 기반으로 하며, 보안 추론과 소규모 학습을 위한 하드웨어 수준의 암호화 기능을 추가했습니다. Lohmeyer는 미디어 브리핑에서 이 칩이 맞춤형 AMD CPU 호스트와 결합되어, 추론이 활발히 실행되는 중에도 민감한 데이터와 모델 가중치를 보호하고 격리하는 데 도움을 준다고 설명했습니다.
Google Cloud는 또한 점점 더 에이전틱 워크로드를 실행하며 대규모 컨텍스트 윈도우를 사용하는 기업을 겨냥한 변형 제품인 TPU 8i Max를 공개했습니다. Lohmeyer는 이 칩이 메모리 제약을 해소하기 위한 것으로, 이를 "고속도로에 차선을 더하는 것"에 비유했습니다.
회사에 따르면 Google Cloud는 TPU 8i Max를 만들기 위해 TPU 8i 칩 두 개를 하나의 패키지로 결합했으며, 이를 통해 TPU 8i 대비 컴퓨팅, SRAM, HBM 대역폭이 두 배로 늘어났습니다. Lohmeyer에 따르면 TPU 8i Max는 384GB의 고대역폭 메모리를 제공합니다.
Lohmeyer는 브리핑에서 "TPU 플랫폼과 시스템에 대한 수요가 엄청나게 늘고 있다"고 말했습니다. 그는 Google Cloud가 기밀 컴퓨팅과, 강력한 성능을 유지하면서 매우 큰 컨텍스트 윈도우를 활용하는 에이전틱 추론에 대한 수요 등 AI 활용 사례가 확대되는 것도 확인하고 있다고 덧붙였습니다.
**맞춤형 TPU가 Google Cloud의 경쟁력을 강화할 수 있어**
IDC의 그룹 부사장 Dave McCarthy는 Google Cloud가 보다 전문화된 맞춤형 AI 칩으로 나아가는 움직임이 경쟁 클라우드 사업자들과의 차별화를 더욱 높일 수 있다고 말했습니다.
McCarthy는 "Google이 올해 초 8i와 8t를 출시했고, 같은 해에 이렇게 새로운 제품들까지 내놓는다는 사실은 혁신의 속도를 보여준다"고 말했습니다. 그는 이어 "이런 것들을 만들기 위한 R&D에 대한 회사의 의지를 보여주고 있다. 그리고 그들의 말이 사실이라면, 즉 대역폭이 두 배이고 이 모든 새로운 기능이 있다면, 신제품 출시 측면에서 경쟁사를 앞지를 가능성이 있다는 것을 보여준다"고 덧붙였습니다.
McCarthy는 기밀 컴퓨팅이 AI 워크로드에서 새롭게 떠오르는 요구 사항이라고 설명했습니다. 그는 클라우드 사업자들이 전통적으로 전송 중이거나 저장된 데이터를 보호하는 데 집중해 왔지만, 기밀 컴퓨팅은 사용 중인 데이터를 보호하기 위한 것이라고 말했습니다.
McCarthy는 "Google이 강력한 기밀 컴퓨팅 전략을 내놓을 수 있다면, 그것만으로도 어느 정도 우위를 점할 수 있을 것"이라고 말했으며, 이 분야에서 Nvidia는 아직 전략을 개발하는 중이라고 덧붙였습니다.
Google Cloud는 또한 TPU 8i Max를 사용하면 기존 랙 면적 안에 더 많은 실리콘을 장착할 수 있어, 데이터센터에서 제곱피트당, 그리고 와트당 컴퓨팅 성능을 크게 높일 수 있다고 밝혔습니다.
McCarthy는 이로 인해 Google Cloud가 최소한 단기적으로는 랙을 추가하거나 데이터센터를 새로 짓지 않고도 용량을 늘릴 수 있으며, 이는 업계가 직면한 용량 압박을 일부 완화할 수 있다고 말했습니다.
더 넓게 보면, McCarthy는 Google Cloud가 실리콘을 지속적으로 고도화하고 다른 사업자들을 통해 TPU를 제공하는 전략이 회사의 시장 영역을 넓히는 동시에 추가 수익원을 창출할 수 있다고 말했습니다.
Oracle은 최근 Oracle Cloud Infrastructure 고객에게 TPU 칩을 제공하겠다고 발표했습니다. Lohmeyer는 미디어 브리핑에서 Google Cloud가 일부 선별된 고객이 TPU 8tx를 자체 데이터센터에 배포할 수 있도록 허용할 예정이라고도 말했습니다.