딥러닝 가속이 데이터센터 전력 밀도 전례 없는 증가 주도하며 인프라 재설계 필수

Nvidia의 Accelerated Computing Group 최고 플랫폼 아키텍트인 Rob Ober는 머신러닝용 시장 최고 성능 GPU인 Tesla의 설계를 감독하고 있습니다. 인공지능을 위한 컴퓨터 시스템 구축에 대해 Ober는 "GPU 기반 딥러닝 훈련을 위한 시스템을 구축하는 것은 정말 어려운 엔지니어링 과제입니다. 정말 정말 어렵습니다. Facebook, Microsoft 같은 대형 기업들도 어려움을 겪었습니다."라고 지적합니다. 원래 그래픽 처리용으로 설계된 GPU(그래픽 처리 장치)는 Google이 표적 광고를 제공하고 Amazon Alexa가 음성 쿼리에 즉시 응답하는 데 사용하는 딥러닝이라는 AI 유형의 필수 프로세서가 되었습니다.

딥러닝은 두 가지 컴퓨팅 워크로드 범주로 나뉩니다: 훈련과 추론입니다. 훈련은 딥 뉴럴 네트워크에 기존 데이터로부터 새로운 기능을 가르칩니다. 예를 들어, 태그된 이미지를 반복적으로 보여주어 뉴럴 네트가 사진 속의 개를 인식하도록 훈련하는 것입니다. 추론은 훈련된 뉴럴 네트가 새로운 데이터에 자신의 지식을 적용하는 것으로, 예를 들어 이전에 본 적 없는 이미지에서 개를 인식하는 것입니다. 훈련은 데이터 센터에서 특히 어렵습니다. 왜냐하면 서버당 최대 8개의 GPU를 갖춘 상호 연결된 서버로 구성된 매우 조밀한 GPU 클러스터가 필요하기 때문입니다. 이러한 캐비닛 하나는 30kW 이상의 전력을 소비할 수 있습니다. 이는 슈퍼컴퓨터 영역 외의 대부분의 데이터 센터가 지원하도록 설계되지 않은 전력 밀도입니다. 약 20개의 이러한 캐비닛은 AT&T 스타디움의 Dallas Cowboys 점보트론(세계 최대 규모 1080p 비디오 디스플레이로 3천만 개의 전구 포함)만큼의 전력을 필요로 합니다.

엔지니어링 과제는 단순한 전력 소비를 넘어갑니다. "딥러닝 훈련을 할 때는 일반적으로 가능한 한 조밀한 컴퓨팅 풀을 만들기를 원하는데, 이는 극도로 높은 전력 밀도가 되고, 이것이 실제 과제입니다"라고 Ober는 설명했습니다. 또 다른 중요한 문제는 전압 제어입니다. GPU 컴퓨팅은 상당한 전력 변동을 생성하기 때문인데, 이는 "처리하기 어려운" 갑작스러운 전압 스파이크입니다. 네트워킹도 주요 장애물입니다. "훈련 데이터의 출처에 따라 데이터 센터 네트워크에 엄청난 부하를 줄 수 있습니다"라고 Ober는 말했습니다. "집중된 핫스팟을 만들 수 있다는 뜻입니다." Ober에 따르면, 전력 밀도와 네트워킹은 "딥러닝용 데이터 센터 시스템의 아마도 두 가지 최대 설계 과제입니다."

Facebook, Microsoft 같은 하이퍼스케일 운영자들은 일반적으로 딥러닝 클러스터를 많은 랙에 분산시켜 전력 밀도 문제를 해결합니다. 다만 일부는 액체 냉각이나 액체 보조 냉각 솔루션을 "시험해 봅니다." 액체 냉각은 마더보드의 칩에 직접 냉각수를 공급합니다 (슈퍼컴퓨터의 일반적 방식). 액체 보조 냉각은 냉각수를 열교환기로 보내 서버를 통과하는 공기를 냉각합니다. 하이퍼스케일 운영자가 보유한 수십만 제곱피트의 공간이라는 이점이 없는 전문화된 고밀도 데이터 센터 제공자들은 액체 보조 냉각을 점점 더 채택했으며, 수요의 최근 급증을 경험하고 있습니다.

이러한 수요의 급증은 머신러닝에 대한 광범위한 엔터프라이즈 관심을 반영합니다. "현재 GPU 기반 워크로드는 우리가 보는 가장 큰 성장 분야이며, 이는 분명히 엔터프라이즈 부문입니다"라고 고밀도 데이터 센터 제공자 ScaleMatrix의 공동 창립자인 Chris Orlando는 말했습니다. "엔터프라이즈 데이터 센터는 이를 위해 준비되지 않았습니다." Orlando는 ScaleMatrix가 작년 중반을 무릎으로 하는 하키스틱 형태의 성장을 경험했다고 지적했습니다. 일반적인 머신러닝 외에도, 수요는 생명 과학 및 유전체학 컴퓨팅으로도 주도되고 있습니다. J. Craig Venter Institute가 ScaleMatrix의 San Diego 데이터 센터에서 가장 큰 고객 중 하나이며, 지리공간 연구와 빅데이터 분석도 포함됩니다.