Liftr Insights 데이터는 NVIDIA AI 인스턴스 실행에 연간 약 200만 달러의 전력 소비 비용이 소요됨을 보여줍니다.

독특한 데이터 기반 시장 정보의 선도 기업인 Liftr Insights는 인기 있는 AI 워크로드 실행의 지속적인 비용을 입증하기 위해 2,000개의 NVIDIA 카드에 대한 계산을 수행했습니다. NVIDIA는 반도체 뉴스와 시장에서 우위를 차지해 왔으며, Hopper H100과 같은 최신 모델들은 AI 학습 및 기타 인공지능 프로세스에 대한 증가하는 수요에 필수적인 것으로 간주됩니다. Liftr 데이터에 따르면 A100과 같은 이전 세대 제품도 여전히 높은 수요를 유지하고 있습니다.

AI 가속기 컴포넌트에 3,300만 달러를 투자하고 연간 200만 달러의 전력 소비로, 한 회사는 Dallas, Texas에서 1,000개의 H100과 1,000개의 A100을 운영할 수 있으며, 이들을 합치면 44.7 FP64 petaflops를 초과하는 성능을 발휘할 수 있습니다. 다만 동일한 인프라는 위치에 따라 서로 다른 운영 비용이 발생합니다. Houston에서 이 인프라를 운영하면 연간 약 210만 달러의 더 큰 전력료가 발생하는 반면, San Antonio 또는 Austin에서의 연간 비용은 각각 190만 달러와 160만 달러로 더 저렴합니다.

Liftr Insights의 CEO인 Tab Schadt는 "Blackwell 프로세스 지연 소식에도 불구하고 AWS, Azure, GCP와 같은 주요 클라우드 제공자들이 최신 NVIDIA 반도체의 도입을 지속적으로 증가시키고 있습니다"라고 말했습니다. 상위 6개 클라우드 제공자와 3개의 트렌딩 제공자를 추적하는 Liftr Insights는 Hopper 브랜드의 도입 성장을 보여주며, H100은 Hopper 시리즈 내에서 가장 광범위하게 논의되는 모델입니다.

일반적인 구성과 주요 고객들의 도입 추세를 보여줄 뿐만 아니라, Liftr 데이터는 데이터센터 운영자들에게 더욱 깊이 있는 통찰력을 제공할 수 있습니다. Schadt는 "우리는 고객들이 이러한 새로운 칩이 산출량과 재무에 미치는 영향을 이해하도록 지원합니다"라고 말했습니다. "새로운 AI를 살펴볼 때, 그것은 단순히 무엇이 이용 가능한지 아는 것 이상입니다. 오히려 특정 구성의 경우 성능, 전력 소비, 그리고 궁극적으로 지속적인 비용의 수익성을 이해하는 것이 중요합니다."