Google이 Frozen v2 맞춤형 추론 칩을 공개하여 이전 세대 대비 10배 효율성 향상을 달성했습니다.
이것은 속보가 아니라 분석입니다. 원본 Frozen v2 보고서는 7월 20일 월요일에 발표되었으며, 후속 보도는 7월 21일에 나타났습니다. 투자자들에게 중요한 질문은 더 이상 Alphabet 주가가 보고서 이후 왜 올랐는지가 아니라, Google이 2028년에 전력 단위당 토큰을 6~10배 더 많이 생산할 수 있다면 AI 가속기 수요 곡선에 무슨 일이 일어날지입니다.
Google은 Gemini 추론을 위해 특별히 설계된 서버 칩으로 Frozen v2를 개발 중인 것으로 알려져 있습니다. 다양한 모델을 실행하고 런타임에 실행 결정을 내릴 수 있는 충분한 유연성을 유지하는 tensor processing unit과 달리, Frozen v2는 Gemini 아키텍처의 일부를 실리콘에 직접 임베드합니다. 초기 Frozen 설계는 Gemini의 모델 가중치를 하드웨어에 고정했을 것으로 알려져 있으며, 이는 가중치가 변경될 때마다 칩을 쓸모없게 만들었을 것입니다. Frozen v2는 가중치를 업데이트 가능하게 유지하면서 아키텍처 결정을 하드와이어링하여, 기본 설계가 호환성을 유지한다면 이후 Gemini 버전이 실행될 수 있도록 합니다.
의도된 이득은 불필요한 계산을 제거하고 메모리와 컴퓨팅 간의 데이터 이동을 줄이는 데서 비롯됩니다. 그 대가는 유연성입니다. 범용 가속기는 소프트웨어가 변경되면 적응할 수 있지만, Google이 모델을 대대적으로 재설계한다면 Gemini 특화 프로세서는 덜 유용해집니다.
Frozen v2를 개발 중인 엔지니어들은 Google의 최신 TPU보다 전력 단위당 6~10배 더 많은 토큰을 제공할 수 있으며, 2028년 초에 배포될 것으로 예상되고 있습니다. Google은 이 칩을 범용 TPU와 같은 규모로 제조할 제품이라기보다는 부분적으로 실험으로 봅니다. 측정이 중요합니다: 와트당 6~10배 더 많은 토큰은 피크 컴퓨팅 성능이 10배가 된다는 의미가 아니며, AI 서버가 90% 저렴해진다는 의미도 아닙니다. 메모리, 고급 패키징, 네트워킹, 냉각, 소프트웨어 및 데이터센터 구축은 계속 비용이 많이 들 것입니다. 활용률도 기술적 개선이 얼마나 재정적 이득으로 전환되는지를 결정할 것입니다.
Alphabet은 2분기 동안 Gemini 모델이 분당 220억 개의 API 토큰을 처리했다고 보고했습니다. 회사는 또한 2026년 자본 지출 예측을 1,950억 달러에서 2,050억 달러 사이로 인상했으며, 고객 수요가 계속해서 사용 가능한 용량을 초과하기 때문에 2027년에 지출이 다시 증가할 것으로 예상됩니다. 따라서 Frozen v2는 현재 AI 지출 사이클을 무효화하지 않습니다. 2028년을 목표로 하는 프로세서는 2026년에 설치되는 가속기나 2027년에 이미 확보된 용량을 대체할 수 없습니다. 대신 그 투자들이 구현된 후 Google이 필요로 할 수 있는 하드웨어의 양에 대한 장기 가정을 변경합니다.
Frozen v2는 가속기 수요에 대한 즉각적인 위협이 아닙니다. 위험은 투자자들이 토큰 성장이 2027년 이후 칩, 서버 및 전기의 대략적으로 비례하는 증가를 계속 요구할 것이라는 가정 하에 AI 공급업체를 평가하고 있다는 점입니다. 향후 프로세서가 와트당 10배의 토큰을 제공한다면, Google은 고정된 추론 수요량을 제공하기 위해 물질적으로 더 적은 가속기, 랙 및 전원 연결이 필요할 수 있습니다.
토큰 소비량은 전력 측면의 보고된 개선을 상쇄하기 위해 대략 6배에서 10배 정도 증가해야 합니다. 칩 성능, 시스템 비용 및 활용률도 중요하기 때문에 이것은 정확한 대체 비율이 아니지만, 투자자들에게 미래 수요를 평가하기 위한 유용한 기준을 제공합니다. 강세 반응은 Jevons 효과를 언급합니다: 저렴한 추론은 구독 및 API 가격을 낮출 수 있고, 더 긴 컨텍스트 윈도우를 지원하며, 자율 에이전트가 계속 작동하게 하고 저가치 쿼리를 경제적으로 만들 수 있습니다. 토큰당 비용의 급격한 감소는 소비량의 10배 이상 증가를 초래할 수 있습니다.
이러한 결과들은 상호 배타적이지 않습니다. AI 사용량은 빠르게 증가할 수 있지만 상용 가속기에 대한 수요는 여전히 현재 예측 이하로 유지될 수 있습니다. 중심 질문은 사용자가 얼마나 많은 토큰을 소비하는지뿐만 아니라 누가 그 토큰을 공급하고 각 토큰이 얼마나 많은 실리콘, 메모리 및 전기가 필요한지입니다.
Nvidia와 AMD에 대한 즉각적인 파급 효과는 제한적입니다. Frozen v2는 여전히 확인되지 않았으며, 실험 단계인 것으로 알려져 있고 하나의 모델 계열을 대상으로 합니다. GPU는 훈련, 빠르게 변화하는 워크로드 및 자신의 칩 프로그램을 정당화하는 데 필요한 규모가 부족한 고객에 있어 이점을 유지합니다. 장기 위험은 대규모 추론에 집중되어 있습니다. Google, Amazon, Microsoft 및 Meta는 반도체 개발 비용을 엄청난 규모에 걸쳐 분산시킬 수 있을 정도로 충분한 AI 워크로드를 처리합니다. 모델 아키텍처가 안정되면, 유연성을 포기하고 더 낮은 운영 비용을 얻는 것이 더 매력적으로 됩니다.
하드웨어 구성은 범용 GPU에서 벗어나 내부 설계 프로세서 및 훈련, prefill 및 디코딩을 위한 별도의 칩으로 점차 이동할 수 있습니다. 커스텀 실리콘 설계자 및 제조 파트너는 토큰당 필요한 Nvidia 또는 AMD 기기의 수가 감소하더라도 이익을 얻을 수 있습니다. 서버, 고대역폭 메모리, 네트워킹, 냉각 및 전력 공급업체의 결과는 덜 직접적입니다. 전문화는 각 쿼리에 필요한 리소스를 줄이지만, 더 낮은 추론 가격은 훨씬 더 많은 쿼리를 생성할 수 있습니다. 공급업체는 계속 성장할 수 있지만, 잠재적으로 현재 AI 자본 지출 예측이 암시하는 것보다 더 느린 속도로 성장할 수 있습니다.
Google은 Frozen v2, 그 사양 또는 2028년 일정을 확인하지 않았습니다. 회사는 프로젝트를 부정하지 않으면서, 모든 실험이 생산 단계에 도달하는 것은 아니며 칩 탐색이 전체 스택 접근 방식의 일부라고 말했습니다. Alphabet이 확인한 것은 비용 문제의 규모입니다. 2분기 자본 지출은 449억 달러에 달했으며, 회사가 수요를 충족시키기 위해 인프라를 확장하면서 자유현금흐름은 59억 달러의 음수를 기록했습니다.
Nvidia, AMD 및 AI 서버 복합체의 경우, 2028년의 위험은 소비자가 인공지능을 덜 사용한다는 것이 아닙니다. 그것은 그들이 오늘날의 시스템이 요구하는 속도로 하드웨어 구매가 증가할 필요 없이 훨씬 더 많은 것을 사용한다는 것입니다.