Google는 더 다양한 AI 추론 워크로드를 지원하도록 TPU 가속기를 재설계하고 있다.

때로는 새로운 칩이 필요하고, 때로는 기존 칩을 워크로드에 더 잘 맞도록 구성하는 새로운 방법이 필요합니다. 구글이 내년에 자사 이름을 딴 클라우드와 자체 컴퓨팅 엔진을 기반으로 한 장비를 자체 데이터센터에 들여올 수 있는 소수의 직접 고객을 위해 선보일 두 가지 새로운 TPU 가속기도 그런 경우입니다.

구체적으로 말하면, 구글이 올해 4월에 처음 공개한 "Sunfish" TPU 8t와 "Zebrafish" TPU 8i 가속기의 두 가지 새로운 변형입니다. TPU 8t는 구글의 의뢰로 브로드컴의 칩 개발 부문이 만들었으며, 현재 구글 데이터센터에 설치되고 있을 것으로 예상됩니다. TPU 8i는 미디어텍이 맡고 있는데, 올해 초 일정이 일부 지연된 적이 있어 현재 출하 중인지는 분명하지 않습니다. 이 Sunfish 및 Zebrafish 시스템의 수정 버전은 2027년 중에 설치될 것으로 예상됩니다. 낙관적으로 보면 2027년 1분기에 시작되어, 이후 1년 반 동안 점진적으로 확대되면서 전 세계 여러 구글 클라우드 리전에서 이용할 수 있게 될 것으로 전망합니다. 이런 확산에는 시간이 걸립니다.

예를 들어 4월의 Sunfish 및 Zebrafish 발표와 오늘 사이에 구글은 전 세대 제품인 "Ironwood" TPU v7p 가속기를 출시했습니다. 이 제품은 2025년 4분기에 구글 내부용으로 처음 배치되었고, 이후 구글은 이를 구글 클라우드에 도입하고 아이오와주의 US-Central1 리전과 런던 외곽의 Europe-West2 리전에서 가격을 공개했습니다. 아래의 방대한 TPU 표에는 이 업데이트된 가격이 반영되어 있습니다. 클라우드에서 임대할 수 있을 만큼 여유 Ironwood 용량이 확보되기까지 약 1년이 걸렸습니다.

새로운 Sunfish 및 Zebrafish 시스템을 자세히 살펴보겠습니다.

TPU 8t는 AI 학습 워크로드를 실행하도록 명확히 설계되었습니다. 이 제품은 구글의 3D 토러스 상호연결을 지원하며, 이는 9,600개의 가속기를 공유 일관성 메모리 공간으로 묶고 FP4 정밀도에서 121엑사플롭스라는 놀라운 연산 성능을 제공합니다. 각 Sunfish 8i 장치는 여섯 개의 스택에 걸쳐 216GB의 HBM3E 메모리를 갖추고 있습니다. 이는 AI 분야에서 단연 가장 큰 공유 메모리 컴퓨팅 규모이며, 구글이 Gemini 프론티어 모델을 학습시키기 위해 브로드컴과 파운드리 파트너인 TSMC로부터 TPU 8t 가속기를 최대한 많이 확보하려 한다는 것은 틀림없습니다.

새로운 TPU 장비를 소개한 화상 회의에서 구글의 AI 및 컴퓨팅 인프라 담당 부사장 겸 총괄 매니저인 마크 로마이어는 이 장비들이 9,600대 단위의 포드로 구성되며, 이 포드들이 묶여 100만 개가 넘는 TPU 8t 장치로 이루어진 클러스터를 만든다고 말했습니다. 그는 이런 클러스터가 실제로 Gemini 4 Carbon 프론티어 모델의 학습에 사용되었다고 밝혔습니다. 이 모델은 출시가 다소 늦어져 회사에 적지 않은 부담을 주었습니다. 딥마인드 부문이 개발한 Gemini 4 Carbon은 10월 28일에 발표되었습니다. Carbon 모델은 Gemini 4 Argon 출시 몇 주 뒤에 나왔으며 전반적으로 더 나은 성능을 보입니다. 구글 클라우드를 통한 API 접근의 경우, 두 모델 모두 입력 토큰 100만 개당 2달러, 출력 토큰 100만 개당 10달러라는 "도입 가격"이 적용되며, 캐시된 입력 토큰은 입력 토큰 가격에서 95퍼센트 할인됩니다.

TPU 8tx는 추론 워크로드를 겨냥한 TPU 8t의 특수 변형이지만, 유휴 시간에는 여전히 학습을 수행할 수 있습니다. 여기에는 두 가지 주요 변경 사항이 있습니다. 첫째, TPU 8t의 3D 토러스 상호연결이 구글이 고안한 보드플라이 상호연결(드래곤플라이의 변형)로 대체되었습니다. 이는 특히 여러 추론 스트림이 동시에 실행되는 복잡한 에이전트 워크로드에 적합하도록 더 긴밀하게 결합되고 지연 시간이 낮은 패브릭을 만들기 위한 것입니다. 그 결과 포드 크기는 9,600개의 가속기에서 1,152개로 줄어듭니다. 패브릭의 직경이 8.3배 작아져 네트워크가 더 평평해졌고, 보드플라이 기반의 더 작은 시스템(여전히 독자적인 Inter Chip Interconnect, 즉 ICI를 사용)에서의 평균 지연 시간은 3D 토러스 토폴로지의 약 절반입니다.

TPU 8tx의 또 다른 변경점은 구글이 자체 Axion Arm 서버 CPU를 이름이 공개되지 않은 AMD Epyc 프로세서로 교체한다는 것입니다. 이렇게 바꾸는 이유는 AMD 프로세서에 온보드 루트 오브 트러스트와 암호화 가속기가 있어, TPU 8tx 장비에서 실행되는 워크로드가 사용되는 순간까지 암호화된 상태를 유지하고, TPU에서의 처리가 끝나면 다시 암호화될 수 있기 때문입니다. 구글은 이것이 맞춤형 Arm Epyc 부품이라고 암시했지만, 그 차이는 코어 수와 클록 속도에 관한 것일 수도 있습니다. 현재의 "Turin" Epyc 9005일 수도 있고, 곧 나올 "Venice" Epyc 9006 프로세서일 수도 있습니다. 구글은 자체 암호화 및 보안 프로세서를 보유하고 있는데, 이런 기능이 왜 아직 TPU 아키텍처와 Axion 프로세서에 내장되지 않았는지는 의문입니다. TPU 9 제품군과 차세대 Axion CPU에서는 이것이 내장될 것이라고 봅니다. 따라서 이번 변화는 AMD에게 단기적인 승리일 수 있습니다.

TPU 8i Max에서 구글은 더 큰 컨텍스트를 다루는 AI 추론 워크로드에 초점을 맞추고 있으며, 이를 위해 소켓당 Zebrafish 가속기 컴플렉스 수를 두 배로 늘렸습니다. 그러나 소켓당 HBM 메모리 용량은 4월에 발표된 원래 TPU 8i에 비해 33퍼센트 증가하는 데 그쳤습니다.

칩 수준에서 더 정확히 말하면, 원래의 Zebrafish 8i 칩은 여덟 개의 HBM3 스택(더 높은 대역폭의 HBM3E가 아님)을 갖추고 총 288GB의 용량과 8.6TB/초의 집계 대역폭을 제공했습니다. TPU 8i Max는 칩이 두 개이지만 각 칩의 용량은 192GB에 불과하며, 칩당 대역폭은 8.6TB/초로 동일하게 유지됩니다. Zebrafish 칩당 HBM3 스택 수는 같지만 칩당 용량은 33퍼센트 줄었습니다. 이는 12단 HBM3 스택에서 8단 스택으로 바뀌었다는 뜻입니다. 또한 소켓당 절대 메모리는 더 많아졌지만, TPU 8i Max는 연산 단위당 HBM 메모리가 TPU 8i보다 적다는 의미이기도 합니다. 이는 구글이 HBM3 메모리 할당을 더 많은 TPU 칩에 분산시키고, 두 개의 Zebrafish 칩을 긴밀하게 결합하여 추론 모델의 컨텍스트와 KV 캐시 저장을 위한 더 큰 공유 메모리 공간을 만들려는 것으로 보입니다.

아키텍처의 모든 것은 상충 관계입니다. 무언가를 얻기 위해 다른 무언가를 내주는 것이죠. 이로 인해 일부 연산 능력이 활용되지 못하고 남을 수 있지만, 큰 컨텍스트를 실행하기에 소켓당 메모리가 부족한 것보다는 덜 나쁩니다. 놀라운 점은 구글이 일부 연산 능력을 비활성화해 균형을 맞추거나, 미디어텍과 TSMC가 빈(bin)을 선별하여 연산 성능이 33퍼센트 낮은 Zebrafish 칩을 골라 메모리와 균형을 맞추지 않았다는 것입니다. 참으로 알 수 없는 일입니다.

TPU 8i Max 카드를 자세히 보면, 보드 하단의 ICI 포트가 다른 TPU 8 소켓과 달라 보입니다. 이에 대해서는 아직 설명되지 않았습니다.

다음은 TPU 연산 엔진에 대해 우리가 알고 있는 모든 사양, 속도, 가격을 정리한 방대한 표입니다.

Sunfish와 Zebrafish TPU의 가격이 어떻게 책정될지는 아직 지켜봐야 합니다. 학습에 사용되는 TPU에 구글이 프리미엄을 붙일 것으로 예상하는 것은 합리적입니다. 생성형 AI 시장의 탄력성은 추론 실행에서 토큰을 처리하는 비용이 계속 낮아지는 것에 달려 있기 때문입니다. TPU 8t는 TPU 8i보다 연산 성능 및 HBM 용량당 가격이 더 비쌀 가능성이 높으며, TPU 8tx는 TPU 8t 및 TPU 8i보다 시간당 가격이 약간 높고, TPU 8i Max는 시간당 TPU 8i 가격의 2배 조금 못 미칠 것으로 보입니다.

마지막으로 하나 더 있습니다. 구글은 TPU 위에서 실행되는 계층형 스토리지 관리 소프트웨어 계층인 TPU Sync를 만들었습니다. 이는 산발적이고 폭발적인 에이전트 AI 워크로드가 실행되는 동안 HBM 메모리 사용을 극대화하도록 설계되었습니다.

"이것이 의미하는 바는 TPU가 실제로 상당한 시간 동안 유휴 상태라는 것입니다." 로마이어가 설명했습니다. "따라서 사용되지 않을 때도 이런 자원을 계속 묶어 둬야 한다면 큰 비효율이 생깁니다. 특히 이런 에이전트 워크로드가 본격적으로 확장되기 시작하면 더욱 그렇습니다. 바로 이 문제를 해결하기 위해 TPU Sync가 설계되었습니다."

"작동 방식은 다음과 같습니다. 에이전트가 일시 중지되면 작업 메모리를 TPU 칩 밖으로 옮기고, 에이전트가 처리를 재개해야 할 때 이를 복원합니다. 이렇게 하면 가속 자원을 비워 다른 작업에 투입할 수 있으므로 시스템 활용도가 크게 높아집니다. 그래서 활용률을 상당히 끌어올릴 수 있고, 궁극적으로는 거래당 비용, 에이전트 워크로드나 활동당 비용을 낮출 수 있습니다. 이것이 TPU의 핵심 가치 제안 중 하나인 최저 비용으로 뛰어난 성능을 제공하는 것과 직결됩니다."

TPU Sync는 소프트웨어이기 때문에 구글은 이를 이전 세대 TPU 시스템에도 거슬러 적용할 수 있었고, 실제로 그렇게 했습니다. 따라서 TPU 5, TPU