Nvidia 데이터센터 담당자는 AI 애플리케이션의 온프레미스 GPU 배포 가속을 신호합니다.

Ian Buck는 Nvidia의 데이터센터 사업 부사장 겸 총괄 책임자로서 AI 인프라 배포 환경의 변화에 대해 Data Center Knowledge와 논의했습니다. Buck의 발언은 Nvidia의 데이터센터 사업이 전년도 대비 71% 증가한 매출을 보고한 상황에서 나왔으며, 이는 업계 전반에 걸쳐 GPU 인프라에 대한 강한 수요를 반영하고 있습니다.

Buck에 따르면 기업들은 클라우드 제공자에만 의존하기보다는 GPU를 온프레미스에 배포하는 사례가 증가하고 있습니다. "물론입니다. SAP, Salesforce, eBay 같은 기업들이 신경망을 훈련하고 온프레미스 환경에서 GPU 상에 신경망을 배포하여 추론을 수행하기 시작하는 것을 목격하고 있습니다"라고 Buck이 말했습니다. 온프레미스 인프라를 유지하기로 하는 결정은 여러 요인에서 비롯됩니다. "일부 IT 부서는 자신의 인프라를 관리하는 데 매우 능숙합니다. CSP들이 제공하는 것뿐 아니라 자신의 특정한 필요에 맞게 이를 최적화하고 커스터마이징할 수 있습니다"라고 Buck이 설명했습니다. 데이터 개인정보 보호 우려도 이러한 선택을 이끌고 있습니다. "금융 정보와 사용자 정보, 특히 이들에 대한 데이터 개인정보 보호 문제에 대한 우려도 있습니다. 자신의 통제하에 있는 자신의 시설, 자신의 서버에 데이터를 보유하는 것이 더욱 안심할 수 있습니다." Buck은 "이는 선호도와 선택의 문제이며, 때로는 경제성도 관련이 있습니다. 물론 임차 대 구매 결정이며, 경제성은 경우마다 다릅니다"라고 지적했습니다.

다양한 산업이 서로 다른 속도로 온프레미스 GPU 인프라를 도입하고 있습니다. Buck에 따르면 자율주행 자동차는 기업들이 "이러한 신경망을 시뮬레이션하고 훈련하기 위한 대규모 시스템"이 필요하기 때문에 "큰 성장 영역"을 나타냅니다. 헬스케어는 또 다른 주요 부문으로 대두되었으며, "막대한 의료 데이터"가 질병 이해, 암 연구, 진단, 의료 영상을 위한 딥러닝 애플리케이션에 대한 투자를 주도하고 있습니다. 전통적인 데이터 분석 분야에서 SAP 같은 기업들은 "비디오 스트림과 스포츠 이벤트에서 브랜드를 실제로 인식할 수 있는 브랜드 인사이트 같은 새로운 형태의 서비스 제공에 많은 투자"를 하는 동시에 "추천 시스템, 더 나은 광고, 더 높은 클릭률을 위해" 심층 신경망을 배포하고 있습니다.

Buck은 hyperscaler, SAP, GE를 가장 선진적인 실무자로 지적했습니다. 특히 GE는 예측적 유지보수에서 "정말 우수한 성과"를 내고 있으며, AI를 사용하여 "에너지 발전에 사용되는 가스 터빈의 센서에서 나오는 모든 데이터를 수집"하고 장애 발생 전에 장비를 정비합니다. 또한 "유전 같은 장소에서 드론을 이용하여 관찰하고 결함을 찾는 흥미로운 작업을 진행하여 문제를 조기에 파악하고 더욱 비싸거나 치명적일 수 있는 상황이 발생하기 전에 조치를 취하고" 있습니다.

향후를 내다보며 Buck은 온프레미스와 클라우드 인프라의 지속적인 혼합을 예상합니다. "아니요, 항상 혼합된 형태가 있을 것이라고 생각합니다. 실제 혼합이 어떻게 될지는 확실하지 않습니다"라고 그는 말했습니다. 일부 기업은 AI 인프라 소유권을 전략적으로 중요하다고 보며, "데이터센터 아키텍처, 인프라, InfiniBand 스위치, 네트워크 토폴로지를 조정하고 설계하여 단순한 클러스터보다는 슈퍼컴퓨터에 가까운 시스템을 구축할 수 있도록" 합니다. 온프레미스 배포의 근본적인 동인은 변함이 없습니다: IT 역량, 클라우드 제공자가 제공하지 않는 아키텍처 최적화 기회, 데이터 개인정보 보호 요구사항, 그리고 장기 자산 소유 대 임차의 경제성입니다.