Forbes가 Google TPU의 AI 추론 성능이 NVIDIA GPU 대안으로서 커스텀 실리콘을 검증하는지 분석합니다.
구글이 TensorFlow 처리 장치(TPU)를 도입한 지 거의 1년 만에, 구글은 자체 개발 AI 칩에 대한 상세한 성능 및 전력 소비 지표를 공개했다. 이 칩은 근본적인 과제를 해결하기 위해 개발되었다. 즉, 구글은 머신러닝 워크로드를 지원하기 위한 컴퓨팅 수요가 급격히 증가할 것을 예측했으며, 이러한 워크로드는 계산 집약적 성향이 강하다. 인텔 CPU를 계속 사용하는 것은 비용 효율적이지 않으며, 수백만 명의 동시 사용자와 쿼리에 대해 빠른 응답 시간을 제공한다는 구글의 요구사항을 충족시키지 못할 것이었다. 구글은 기존에 데이터 내 패턴 인식 기능을 갖춘 신경망을 학습하는 데에는 NVIDIA GPU를 사용하고, 이러한 신경망에 대한 쿼리 실행(추론)에는 x86 CPU를 사용해 왔다. 회사는 추론 작업을 더 낮은 비용으로, 더 높은 성능으로, 훨씬 적은 전력 소모로 처리할 수 있는 칩을 개발하기로 결정했다.
구글은 TPU와 당시 자사 시설에 보유하고 있던 NVIDIA 및 인텔 칩 세대와의 성능 데이터를 비교한 광범위한 아키텍처 세부 정보를 공개했다. 이때 비교 대상은 3세대 전인 인텔의 해스웰(Haswell)과 2009년에 설계된 NVIDIA 케플러(Kepler)였는데, 이는 GPU가 머신러닝에 활용되기 훨씬 이전의 아키텍처였다. NVIDIA 최고경영자 젠슨 황(Jensen Huang)은 NVIDIA의 최신 세대인 파스칼(PASCAL) 칩을 기반으로 한 업데이트된 비교 자료를 제시했으며, 이는 매우 다른 결과를 보였다. NVIDIA의 초기 격차는 TPU 대비 성능이 1/13 수준에 불과해 보였으나, 현재 세대 칩을 비교했을 때 NVIDIA는 전력 소비량이 3배 더 높음에도 불구하고 2배의 우위를 점했다. TPU는 초당 90조 연산(90 TFLOPS)이라는 압도적인 속도를 자랑하며, 이는 GPU의 거의 두 배에 달하고 전력 소비량은 1/3 수준에 불과하다. P40은 학습에 유용한 강력한 부동소수점 연산 능력과 더 큰 메모리 대역폭을 갖추고 있는 반면, TPU는 머신러닝용 딥 뉴럴 네트워크를 표현하는 데 사용되는 텐서(정수 행렬) 병렬 곱셈이라는 단일 작업을 극도로 잘 수행하도록 설계되었다.
가장 중요한 점은 AI 분야에서 이루어지는 모든 진지한 작업에는 GPU, FPGA, ASIC 또는 멀티코어 CPU 등 어떤 형태든 상당한 가속화가 필요하다는 사실이며, AI가 저렴하고 신속하게 제공되려면 이러한 가속화 장치가 전통적인 인텔 제온(Xeon) 서버 CPU보다 최소 2자리 수 이상 빠르야 한다는 것이다. 구글의 커스텀 실리콘에 대한 투자는 머신러닝 처리가 충분히 크고 핵심적인 워크로드임을 보여줌으로써, 데이터센터를 ML 최적화할 가치를 지니고 있음을 입증한다.
구글 머신러닝 서비스를 이용하는 사용자는 TPU 위에서 더 많은 서비스가 실행됨에 따라 직접적인 혜택을 얻는다. 구글은 선택된 서비스의 가격을 최대 6배까지 낮췄으며, 이 절감 효과를 직접적으로 TPU 때문이라고 밝혔다. 구글은 내부 사용 및 클라우드 ML 서비스를 위한 더욱 경쟁력 있는 플랫폼을 확보하고, 막대한 규모의 데이터센터에서 CAPEX 및 전력 소비를 절감함으로써 승리를 거두었다.
TPU는 인텔이나 NVIDIA와 같은 실리콘 벤더들에게 직접적이거나 즉각적인 위험을 초래하지 않는다. 현재 대부분의 추론 작업은 구글에서 볼 수 있는 규모보다는 훨씬 작은 규모로 배포된 데이터센터의 인텔 제온 CPU와 엣지 환경의 ARM CPU가 담당하고 있다. 구글은 여전히 신경망 학습에 NVIDIA GPU를 사용하고 있으므로, TPU는 NVIDIA 사업의 상당 부분을 잠식하지 않았다. 또한 TPU는 구글 내부 데이터 과학자와 구글 AI 클라우드 서비스 사용자들에게만 제한적으로 제공된다. 구글 클라우드는 아마존 웹 서비스(AWS)와 마이크로소프트 애저(Azure)에 비해 여전히 뒤처져 있으며, 이 두 기업은 모두 머신러닝 애플리케이션을 위한 클라우드 서비스에 NVIDIA GPU를 제공하고 있다. 세계 최대의 데이터센터들—아마존, 알리바바, 바이두, 페이스북, 마이크로소프트, 텐센트—은 가속화 워크로드를 위해 계속해서 GPU와 FPGA를 구매할 것이다.