Google이 Frozen v2 AI 추론 칩을 개발했으며, 이전 세대 대비 Gemini 모델을 최대 10배 더 효율적으로 실행합니다.
Google이 Gemini 모델을 최신 Tensor Processing Units (TPUs)보다 6~10배 더 효율적으로 실행하도록 설계된 "Frozen v2"라는 내부 코드명의 커스텀 AI 칩을 개발 중인 것으로 알려졌습니다. 기존 TPU 라인업을 대체하기보다는 Frozen v2는 Gemini의 아키텍처 일부를 하드웨어에 직접 내장하여 매우 특화된 AI 가속기의 새로운 클래스를 형성할 것으로 예상됩니다.
이 프로젝트는 Gemini 기반 서비스 수요가 급증함에 따라 AI 인프라 최적화에 대한 Google의 관심 증대를 반영합니다. 보도에 따르면 회사는 내부 계산 제약에 직면해 있으며, 이로 인해 Google Cloud가 외부 AI 인프라 거래를 거절하도록 강요받은 적이 있다고 합니다. Google은 Gemini에 맞춤화된 하드웨어를 만들어 추론 효율성을 획기적으로 개선하면서 에너지 소비와 운영 비용을 낮추려고 합니다.
다양한 모델을 실행하도록 설계된 범용 AI 가속기와 달리 Frozen v2는 Gemini 계열 중심으로 특별히 설계되었습니다. 이 접근 방식은 광범위한 모델 지원보다는 특정 신경망 아키텍처를 위해 프로세서를 최적화하는 모델 특화 AI 하드웨어 개념과 유사합니다. AI 추론이 대규모 대형 언어 모델을 배포하는 회사들의 가장 큰 운영 비용 중 하나가 되었으므로, Gemini를 하드웨어에 직접 내장하면 중복 처리 단계를 제거하여 칩이 훨씬 적은 전력을 소비하면서 더 많은 AI 출력을 생성할 수 있습니다. 이는 Search, Workspace, Android, YouTube, Google Cloud를 포함한 제품들에서 수십억 개의 AI 쿼리를 제공하는 경제성을 개선할 것입니다.
Google은 이중 칩 전략을 유지할 것으로 예상됩니다: 미래 Gemini 모델 훈련을 위한 프로그래밍 가능한 TPU와 성숙한 프로덕션 모델 배포를 위한 특화된 Frozen 칩입니다. 이러한 개발은 Google이 AI 인프라에 대한 급증하는 수요에 직면하면서 보도되었습니다. 컴퓨팅 용량 부족으로 인해 내부 긴장이 생겼고 Google Cloud의 특정 외부 고객 워크로드 수용 능력이 제한되었습니다. Frozen v2는 데이터 센터 인프라의 비례적 증가를 요구하지 않으면서 추론 효율성을 획기적으로 증대하여 이러한 병목을 완화하기 위해 의도되었습니다.
추론 효율성을 개선하면 Google의 제3자 AI 하드웨어 의존성을 줄이면서 자사 실리콘 전략을 극대화할 수 있습니다. 이는 모델 특화 실리콘 구축 대신 Copilot을 위한 더 저렴한 오픈 웨이트 모델을 테스트하고 있는 Microsoft의 접근 방식과 다릅니다.
특화된 칩은 트레이드오프를 가져옵니다: Frozen v2가 2028년경 배포를 목표로 하고 있기 때문에, 엔지니어들은 하드웨어가 향후 Gemini 모델 아키텍처와의 호환성을 유지하도록 해야 합니다. Google Search, Android, YouTube, Workspace의 가장 큰 사용자 베이스 중 하나인 인도는 Gemini 추론의 상당한 비중을 차지합니다. 와트당 더 저렴한 토큰은 인도 소비자들을 위한 더 합리적인 AI 기능과 Google Cloud를 사용하는 인도 스타트업 및 IT 서비스 회사들의 더 낮은 클라우드 청구로 직결됩니다. 데이터 센터 용량이 전기 가용성과 냉각 비용에 의해 제한되기 때문에 전력 효율성도 지역적으로 중요합니다.
맞춤형 AI 실리콘은 고급 파운드리 용량과 점점 더 정치화되는 수출 규칙에 의존하며, 이는 Beijing의 AI 모델 및 칩에 대한 수출 통제 제안에서 볼 수 있습니다. Google은 Frozen v2에 대한 인도 특화 배포 계획을 발표하지 않았으며, 이 칩은 여전히 확인되지 않은 내부 프로젝트입니다.
Google의 보도된 Frozen v2 프로젝트는 AI 인프라 경쟁의 다음 단계를 강조하며, 여기서 회사들은 범용 AI 가속기를 넘어 특정 기초 모델에 최적화된 칩으로 나아갑니다. Frozen v2가 보도된 와트당 토큰의 6~10배 개선을 제공한다면, Gemini 실행 비용을 크게 줄이면서 Google의 AI 용량을 확대할 수 있습니다. 이 프로젝트는 개발 중이며 2028년 초에 배포될 예정이지만, 이는 AI 소프트웨어와 하드웨어를 수직 통합하려는 Google의 장기적 약속을 강조합니다. Google, OpenAI, Microsoft, Meta, Anthropic 간의 경쟁이 심화됨에 따라, 특화된 AI 실리콘은 더 빠르고 효율적이며 비용 효과적인 생성형 AI 서비스를 제공하는 데 있어 점점 더 중요한 차별화 요소가 될 수 있습니다.