Tuesday, November 17, 2026
AI 인프라 · 뉴스 & 분석
홈 › 반도체·하드웨어 › 리포트
반도체·하드웨어 · 리포트

CDOTrends는 구글의 최신 TPU에 새로운 칩 설계가 적용되지 않았으며, 바로 그 점이 핵심이라고 주장한다.

TPU 세대 간 기존 실리콘을 재사용하면 배포 속도를 높이고 비용을 절감할 수 있으며, 이는 성능 향상에서 소프트웨어와 시스템 수준의 개선이 더 큰 역할을 하고 있음을 시사한다.
업계 전문지Slicast · 2026년 11월 15일 12:31 UTC · 미국 · 출처: CDOTrends
중요도 50

Google Cloud 미디어 브리핑이 거의 끝날 무렵, 한 참석자가 보안 관련 질문을 던졌다. Google의 TPU Sync 소프트웨어는 AI 에이전트가 일시 중지되면 작업 메모리를 칩 밖으로 옮긴다. 그렇다면 Google이 기밀 컴퓨팅을 위해 처음 설계한 TPU인 TPU 8tx에서도 그 데이터가 암호화된 상태로 유지될까?

Google Cloud에서 AI 및 컴퓨팅 인프라를 총괄하는 부사장 겸 총괄 매니저 Mark Lohmeyer는 솔직하게 답했다. "확인해 봐야겠습니다." 그는 "사실 저도 모릅니다"라고 말했다.

Google의 그룹 프로덕트 매니저 Jason Monden이 답을 내놓았다. 데이터는 호스트 프로세서와 AI 칩을 잇는 고속 연결인 암호화된 PCIe 링크를 통해 이동한다. 그는 "데이터는 끝까지 완전히 암호화된 상태로 남습니다"라고 말했다.

이것은 상대를 궁지에 빠뜨리려는 질문이 아니다. 그러나 이 답변은 제품이 어디에 자리 잡고 있는지를 보여준다. 답은 칩 자체가 아니라 그 주변의 연결, 프로세서, 소프트웨어에 있었다.

이것이 2026년 11월 9일 Google이 발표한 TPU 8tx와 TPU 8i Max의 실제 이야기다. 두 제품 모두 새로운 실리콘을 쓰지 않았다. 8tx는 Google의 학습 시스템인 TPU 8t와 같은 칩을 사용한다. 8i Max는 추론용으로 만들어진 TPU 8i 칩 두 개를 하나의 패키지에 넣었다. Google은 스스로 기준을 제시한다. 새로운 칩을 만드는 데는 몇 년이 걸리지만, 칩 주변의 컴퓨팅, 네트워킹, 스토리지로 이루어진 새로운 시스템은 몇 달 안에 나올 수 있다는 것이다. 에이전트를 위한 컴퓨팅을 구매하는 최고 AI 责任자와, 그 에이전트가 무엇을 볼 수 있는지 결정하는 최고 데이터 책임자에게 이런 변화는 던져야 할 질문 자체를 바꾼다.

Lohmeyer는 Google의 TPU와 Google이 임대해 주는 Nvidia GPU를 모두 관리하며, 그의 핵심 메시지는 "고객의 선택"이다. 아래에 나오는 모든 성능 수치는 Google 자체 발표치다. Google은 가격을 공개하지 않았다. Google의 AI 및 인프라 최고 기술 책임자 Amin Vahdat는 출하 시점으로 2027년을 제시했다.

사양을 넘어서 보면, Google의 주장은 네 가지로 요약된다. 특화된 하드웨어, 사용 중 암호화, 더 많은 메모리, 이식 가능한 소프트웨어다. 각 주장은 부분적으로 타당하다.

## 특화가 곧 속도다

TPU, 즉 텐서 처리 장치(tensor processing unit)는 Google이 자체 설계한 AI 칩이다. Lohmeyer에 따르면 Google은 한때 2년에 한 세대의 TPU 시스템을 내놓았고, 이후 1년에 한 세대로 주기를 앞당겼다. 2026년 4월에는 두 가지를 한꺼번에 선보였다. 학습용 8t와 추론용 8i다. 추론은 학습을 마친 모델을 실제로 실행하는 작업을 뜻한다. Google은 8t가 이전 세대보다 학습 성능을 최대 2.7배 높이고, 8i는 가격 대비 추론 성능을 80% 개선했다고 주장한다. 11월 발표까지 더하면 1년 사이에 시스템은 모두 네 가지가 된다.

Lohmeyer는 이런 속도의 원인을 에이전트에서 찾았다. 그가 설명한 에이전트는 요청을 여러 단계로 나누고, 모델과 도구를 호출하며, 코드를 작성하고 실행한다. 그는 "단순한 모델 한 번의 상호작용이었을 것이 뒤에서 수십, 수백, 수천 번의 연산으로 늘어날 수 있다"고 말했다.

독립 기관의 전망도 같은 방향을 가리킨다. 딜로이트는 추론이 2026년 전체 AI 컴퓨팅의 약 3분의 2를 차지할 것으로 예측했는데, 2023년에는 3분의 1 수준이었다.

최고 AI 책임자에게 특화는 양날의 검이다. Lohmeyer는 "가능한 가장 낮은 비용으로 뛰어난 성능"을 약속한다. 하지만 Google이 함께 임대하는 Nvidia 시스템, 특히 Nvidia Vera Rubin 플랫폼 기반 A5X 인스턴스까지 더하면, 하나였던 구매 결정이 네 가지로 늘어난다.

두 가지 신규 시스템 중 첫 번째는 이 기사를 연 질문, 즉 보안 문제를 다룬다.

## 암호화가 가속기 안으로 들어온다

데이터는 보통 저장될 때와 전송될 때 암호화된다고 Google은 설명한다. 하지만 컴퓨터가 데이터를 처리하는 동안에는 메모리에서 복호화되어야 한다. 데이터에 모델 가중치, 즉 모델의 가치를 결정하는 학습된 매개변수나 프롬프트 안의 고객 기록이 포함되어 있다면 이 틈은 위험이 된다.

Lohmeyer는 TPU 8tx가 "기밀 컴퓨팅 기능을 갖춘 최초의 TPU"라고 말했다. 기밀 컴퓨팅은 데이터가 처리되는 동안에도 암호화된 상태로 격리되도록 보장하는 기술이다. Google은 8t 실리콘을 AMD x86 호스트 프로세서와 짝지웠다. Lohmeyer에 따르면 데이터는 네트워크 링크를 거쳐 CPU에서 TPU로 이어지는 경로 전체에서, 그리고 TPU 칩과 그 메모리 안에서 암호화된 상태를 유지한다. 시스템이 주장하는 그대로인지 암호학적으로 검증하는 하드웨어 어테스테이션(hardware attestation)은 시스템 전체를 포괄한다.

"이것은 모델 가중치를 보호하고, 프롬프트를 보호하며, 기업 데이터를 보호합니다." 그는 말했다. "심지어 시스템을 운영하는 사람들로부터도 보호합니다."

이런 보호는 Google 데이터센터 바깥에서 특히 중요하다. Google은 일부 선별된 고객이 8tx를 자체 시설에서 운영하도록 허용할 예정이다. Lohmeyer에 따르면 이 경우에도 데이터는 시설을 운영하는 사람들로부터도 보호된다. 그는 대상 고객으로 규제가 엄격한 산업군과, "다양한 환경에서" 모델 가중치를 보호하려는 모델 제공업체 두 부류를 꼽았다.

이 주장에는 세 가지 유의점이 있다. 첫째, 이 범주 자체는 새롭지 않다. Nvidia는 이미 자사 GPU에서 기밀 컴퓨팅을 판매하고 있으며, Blackwell 칩에서는 정상 성능의 약 98% 수준으로 동작한다고 밝혔다. 8tx는 이 기능을 TPU에 가져온 것이다.

둘째, 속도 주장은 신중하게 읽어야 한다. Google은 8tx가 "최대 2배 낮은 지연 시간"을 제공한다고 말하지만, 비교 대상은 학습 시스템인 8t다. 8tx가 차용한 저지연 Boardfly 네트워크의 원래 주인인 8i와 비교한 것은 아니다. Boardfly는 칩 사이의 경로를 줄이도록 설계된 네트워크 구조다.

셋째, 적용 범위다. Google의 발표는 기밀 컴퓨팅을 8tx에 대해서만 설명한다. 8i Max에 이 기능이 있는지는 밝히지 않았다.

두 번째 시스템은 다른 한계, 즉 메모리를 겨냥한다.

## 메모리가 새로운 계량 단위다

칩 엔지니어들은 이를 메모리 장벽이라고 부른다. 메모리가 프로세서에 데이터를 충분히 빠르게 공급하지 못하면 프로세서는 멈춰 선다. Google에 따르면, 수십 개의 에이전트가 하나의 코드베이스 전체를 가로지르거나 수 시간 분량의 영상을 동시에 다루게 되면 메모리 대역폭이 병목이 된다. Lohmeyer에 따르면 메모리가 많아지면 한 번에 모델이 참조할 수 있는 자료 범위인 더 큰 컨텍스트 윈도우와, 모델이 읽은 내용에 대한 작업 메모에 해당하는 더 큰 KV 캐시를 지원할 수 있다.

그는 메모리가 늘지 않으면 기업은 세 가지 나쁜 선택지에 직면한다고 말했다. 컨텍스트를 줄여 정확도를 잃거나, 동시에 처리하는 작업 수를 줄이거나, 느린 응답을 감수하는 것이다.

Lohmeyer에 따르면 TPU 8i Max는 컴퓨팅 성능을 두 배로 늘리고, 칩 내장 SRAM(칩에 내장된 고속 메모리)을 두 배인 768MB로 늘리며, 메모리 대역폭을 두 배인 초당 17.2테라바이트로 늘린다. 칩 옆에 쌓는 대용량 메모리인 HBM(고대역폭 메모리)은 8i의 288GB보다 약 3분의 1 많은 384GB로 증가한다.

"기본적으로 고속도로에 차선을 더하는 것입니다." 그는 말했다. "고속도로 위의 각 자동차를 반드시 더 빠르게 만드는 것은 아닙니다."

8i Max가 얼마나 더 효율적인지 묻자, Lohmeyer는 "모든 것이 2배"라고 답하면서 "아마 가장 간단한 표현일 것"이라고 덧붙였다. 그러나 그가 제시한 수치 자체가 이 단순화의 문제를 보여준다. 메모리 용량은 두 배가 아니라 3분의 1 늘었다. The Next Platform의 계산에 따르면 패키지 안의 칩 하나당 메모리는 192GB로, 단독형 8i의 288GB보다 줄어든다. 즉 컴퓨팅 단위당 사용할 수 있는 메모리는 오히려 적어진다.

최고 데이터 책임자에게는 이 메모리에 무엇이 들어가는지가 중요하다. Lohmeyer는 에이전트가 "파일, 문서, 이메일"을 컨텍스트로 끌어온다고 설명했다. 그렇다면 이는 데이터 인벤토리의 문제이며, 팀이 더 많은 컨텍스트를 위해 더 많은 메모리가 필요하다면 거버넌스 문제인 동시에 비용 결정이 된다.

더 빠른 칩과 더 많은 메모리는 팀이 소프트웨어를 그 위로 옮길 수 있을 때만 의미가 있다. Google은 발표의 상당 부분을 바로 이 지점에 할애했다.

## 이식성이 종속성을 한 계층 위로 옮긴다

TPU는 오랫동안 Google 자체 프레임워크인 TensorFlow와 JAX에 묶여 있었다. 2026년 10월 Google은 Meta의 PyTorch 팀과 함께 만든 TorchTPU를 오픈소스로 공개했다. 이를 통해 AI 분야에서 "단연코 가장 인기 있는 프레임워크"라고 Lohmeyer가 부른 PyTorch로 작성된 코드를 TPU에서 네이티브로 실행할 수 있다. 개발자는 "말 그대로 설정 한두 줄만 바꾸면 된다"고 그는 말했다.

Meta는 이미 이런 방식으로 TPU에서 실제 서비스 작업을 돌리고 있다. "우리는 단일 하드웨어 아키텍처에 묶일 수 없습니다." Meta의 PyTorch 엔지니어링 디렉터 Jana van Greunen의 말이다.

Google은 하나의 워크로드 안에서 하드웨어를 섞어 쓰는 것도 가능하게 했다. Lohmeyer에 따르면 Google의 관리형 컨테이너 실행 서비스인 Google Kubernetes Engine(GKE)은 Nvidia 기반 A5X 인스턴스에서 작업을 시작한 뒤, 용량이 부족해지면 나머지를 TPU 8i로 넘길 수 있다. Google은 TPU Sync 소프트웨어가 첫 토큰이 나올 때까지의 대기 시간(모델이 답변을 시작하기 전의 지연)을 90% 이상 줄인다고 밝혔는데, 이 소프트웨어는 5세대까지의 구형 TPU에서도 동작한다.

Nvidia의 소프트웨어 플랫폼 CUDA에 종속될 것을 걱정하는 최고 AI 책임자에게 이는 실질적인 진전이다. Lohmeyer는 개방성을 강조했다. 오픈소스 추론 엔진인 vLLM과 SGLang이 이제 TPU에서 동작하고, GKE의 추론 계층은 오픈소스인 llm-d를 사용한다. 그럼에도 그가 든 예에서 GPU와 TPU 사이로 작업을 옮기는 도구는 Google 서비스인 GKE다. 따라서 종속성이 사라진 것은 아니다. 칩에서 오케스트레이션 계층으로 옮겨 갔을 뿐이다. Oracle은 2027년부터 TPU를 제공할 계획이어서, 구매자에게 두 번째 공급처가 생긴다.

한 가지 짚고 넘어갈 부분이 있다. 브리핑에서 Lohmeyer는 TPU Sync를 일시 중지된 에이전트의 메모리를 칩 밖으로 옮기는 도구라고 설명했다. 그러나 Google의 블로그는 그 역할을 Agent Comp

원문 보기
CDOTrends는 구글의 최신 TPU에 새로운 칩 설계가 적용되지 않았으며, 바로… · Slicast