Google Cloud가 기계 학습 추론 워크로드를 위한 Nvidia GPU 제공에 집중하기로 약속합니다.

구글이 딥러닝 가속화를 위한 자체 칩인 TensorFlow 처리 장치(TPU)를 발표하자, 많은 업계 관찰자들은 이러한 맞춤형 칩이 엔비디아(NVIDIA)의 영향력을 크게 약화시킬 수 있는지 의문을 제기했다. 그러나 최근 구글은 전 세계적으로 구글 클라우드 플랫폼(GCP)에서 사용할 수 있도록 엔비디아의 최신 GPU인 터링(Turing) 기반 T4 제공을 확대했으며, 이는 구글의 고객들이 학습 및 추론을 위해 비용 효율적인 GPU를 선호하고 있음을 시사한다. 이러한 조치는 구글이 자체 독점 칩 기술과 함께 전문화된 GPU 가속화에 대한 수요도 인정하고 있음을 보여준다.

학습된 신경망을 사용하여 새로운 입력 데이터의 속성을 '추론'하거나 예측하는 AI 추론 처리 시장은 차세대 주요 기회로서 전문 반도체에 대한 막대한 관심을 끌고 있다. 엔비디아는 신경망 비용의 80~90%가 학습이 아닌 추론 처리에 발생한다고 추정한다. 추론은 여전히 상당한 연산 작업이지만, 학습에 비해 처리량이 몇 배나 적으며 정수 연산을 통해 더 높은 효율성을 달성할 수 있어 8비트 이하의 정밀도로 처리할 수도 있다. 이 같은 변화는 데이터 센터부터 드론에 이르기까지 다양한 애플리케이션을 포괄하는 추론 시장이 향후 10년 동안 학습 수익을 초과할 것으로 예상됨에 따라 지대한 영향을 미칠 것이다.

현재 엔비디아는 주로 심층 신경망 학습이라는 거대하고 방대한 연산 작업을 통해 연간 약 30억 달러의 수익을 올리며 AI 가속 시장을 주도하고 있다. 오늘날 대부분의 추론 처리는 퍼블릭 클라우드에서 인텔 제온(Intel Xeon) 프로세서에서 실행되지만, 수십 개의 스타트업들이 더 복잡한 추론 워크로드를 위한 칩을 개발 중이다. 인텔은 추론 가속화가 부상하는 트렌드임을 인지하고 있으며, Nervana 기반 추론 칩을 로드맵에 추가했다. 이러한 경쟁 구도는 추론을 위해 빠른 CPU 이상의 가속기가 필요한지, 그리고 엔비디아와 같은 범용 GPU가 구글의 TPU나 인텔의 Nervana와 같은 맞춤형 전용 프로세서와 경쟁할 수 있는지에 대해 중요한 질문을 던진다.

구글이 GCP의 모든 지역에서 T4 지원을 확대한 것은 추론용 GPU에 대한 글로벌 수요가 크다는 것을 보여준다. T4는 학습과 추론 모두를 위한 모든 AI 프레임워크, 딥러닝 모델 및 머신러닝 알고리즘을 지원하는 다목적 제품이다. GCP에서 T4의 가격은 GPU당 시간당 최저 $0.29로, 선점 가능(preemptable) 액세스 기준 $1.24에 책정된 엔비디아 V100보다 75% 이상 저렴하다. 엔비디아는 스냅(Snap)의 모네타이제이션 알고리즘과 마이크로소프트 빙(Microsoft Bing)의 대화형 및 이미지 검색 서비스 등—all이 엔비디아 GPU에서 실행됨—을 예시로 들며 데이터 센터 학습에서 추론 시장으로 영역을 확장하고 있으며, 이를 통해 추론 처리에서의 GPU 우위를 입증하고 있다.

TPU를 발명했음에도 불구하고, 구글은 고객이 원하는 것, 즉 빠르고 저렴한 추론 처리 서비스를 제공함으로써 시장의식을 보여주고 있다. AI가 더욱 보편화되고 애플리케이션이 직관적인 사용자 인터페이스를 제공하기 위해 여러 신경망을 결합함에 따라, 이러한 서비스들은 가속기 위에서 실행될 가능성이 높다. 엔비디아는 아직 데이터 센터 내 추론 처리에서 GPU의 우위를 완전히 입증하기 위해 해야 할 일이 많지만, TPU의 발명자인 구글조차도 추론용 GPU의 가치와 시장 수요를 인정하고 있다.