VentureBeat는 유휴 GPU가 AI 플랫폼 계획의 추진을 가로막는 것은 아니라고 주장한다.

현재 프로덕션에서 AI를 운영하는 조사 대상 기업 대부분은 자사가 사용하는 GPU가 최소 절반의 시간 동안 놀고 있다고 답했다. 그리고 그중 대부분은 그럼에도 AI 컴퓨팅 플랫폼을 추가하거나 교체할 계획이라고 밝혔다. VentureBeat Intelligence의 최신 데이터에 따른 결과다.

7월부터 9월까지 매월 실시한 세 차례의 VB Pulse 설문에서 GPU 가동률을 보고한 218개 응답 기업 가운데 79%가 GPU가 절반 이하의 시간만 가동된다고 답했다. 이들 기업 중 70%는 향후 12개월 안에 새로운, 추가적인, 또는 교체용 AI 컴퓨팅 플랫폼을 도입할 계획이라고 밝혔다. GPU가 놀고 있는 기업의 비율은 세 달 각각 77%에서 81% 사이를 유지했다. 9월 결과는 목요일에 보도했으며, 세 달치 데이터는 이 패턴이 꾸준히 이어지고 있음을 보여준다.

이 수치가 중요한 이유는 월가에서 AI가 거품인지를 두고 논쟁이 벌어지고 있기 때문이다. 10월 13일 국제통화기금(IMF)은 AI 주가의 급락이 글로벌 금융 안정을 위협할 수 있다고 경고했다. 이 논쟁의 대부분은 Nvidia, Microsoft, Google, Amazon Web Services 같은 클라우드 거대 기업, 그리고 CoreWeave 같은 전문 GPU 클라우드처럼 AI 컴퓨팅을 판매하는 기업들에 집중되어 있으며, 이들이 고객이 지불할 용의가 있는 것보다 더 많은 용량을 구축하고 있는지가 쟁점이다. 우리는 고객들이 실제로 무엇을 하고 있는지 살펴보았다.

**거품은 기업 내부에 있다**

언뜻 보면 수치는 모순처럼 보인다. 사용되지 않는 GPU 용량이 그토록 많은 기업이 왜 AI 컴퓨팅 플랫폼을 추가하거나 교체하려 할까? 기술 리더들의 말에 따르면, 올가을 예산 편성 시기에 이들은 AI 비용을 줄이라는 강한 압박을 받고 있는데도 말이다.

AI에 대한 수요는 실재하지만, 그 수요는 놀고 있는 GPU와는 다른 곳에서 발생하고 있다. 전문가와 소비자들은 계속해서 AI를 더 많이 사용하고 있으며, 그 작업의 상당 부분은 Anthropic과 OpenAI의 프런티어 모델을 통해 이루어진다. 이러한 수요는 한동안 이 기업들의 컴퓨팅 지출을 계속 떠받칠 것이다. 불일치는 한 단계 아래, 즉 서로 쉽게 대체할 수 없는 두 종류의 AI에 비용을 지불하고 있는 기업 내부에 존재한다.

첫 번째 종류는 용량이다. 나는 많은 기업이 2024년과 2025년의 GPU 부족 보도에 놀라, 용량이 모자라는 일이 없도록 GPU 용량을 미리 확보해 두었다고 생각한다. 우리의 설문조사에 따르면 기업이 사용하는 용량의 상당 부분이 놀고 있지만, 설문에서는 기업이 그 용량을 어떻게 확보했는지, 또는 직접 통제하고 있는지는 묻지 않았다.

두 번째 종류는 프런티어 모델이다. 엔지니어와 다른 직원들은 Anthropic, OpenAI, Google의 가장 성능이 뛰어난 모델을 선호해 왔다. 이 모델들은 해당 회사의 API를 통해 토큰 단위로, 월간 구독으로, 또는 대형 클라우드 제공업체를 통해 비용을 지불한다. 기업이 앞서 나가려면 최고의 지능이 필요하며, 경제성은 나중에 따져도 된다는 생각이었다. Fortune에 따르면, Uber는 2026년 AI 예산을 몇 달 만에 모두 써버린 뒤, 최고기술책임자 Praveen Neppalli Naga가 8월에 "이른바 토큰맥싱 시대가 끝나가고 있다"고 말했다. 포춘 500대 기업의 한 AI 책임자는 10월 익명을 전제로 나와 대화하면서, AI 비용은 계속 오르고 있으며, 회사는 결국 생산성 향상으로 이를 상쇄할 것으로 기대하지만 아직 그것을 알지는 못한다고 말했다.

Amazon Web Services, Microsoft, Google은 이제 자사 클라우드를 통해 Anthropic이나 OpenAI의 모델을 판매하고 있으며, OpenAI는 수요일에 자사 모델이 향후 몇 주 안에 Google Cloud에 제공될 것이라고 밝혔다. OpenAI의 프런티어 GPT 모델과 Anthropic의 Claude 모델은 비공개이므로, 클라우드 제공업체나 모델 제작사가 자체 인프라에서 이를 실행하고 토큰 단위 또는 해당 모델 전용으로 예약된 용량에 대해 요금을 부과한다. 기업이 이미 통제하고 있는 GPU에 이 모델을 올릴 수는 없다. 작업을 그 GPU로 옮기려면 기업은 오픈 웨이트 모델로 전환하여 직접 실행해야 한다. 이는 실질적인 엔지니어링 작업이며, 가장 저렴한 선택지에도 또 다른 문제가 따른다. VentureBeat가 10월에 직접 실시한 테스트에서 DeepSeek은 우리가 실행한 다섯 개의 오픈 모델 가운데 가장 저렴했지만, DeepSeek은 중국 연구소에서 나온 모델이며, 여러 이유로 많은 기업은 중국 모델을 핵심 주력 모델로 삼는 데 여전히 주저하고 있다.

우리의 데이터는 이러한 해석을 세 가지 측면에서 뒷받침한다.

- **GPU가 놀고 있는 기업도 새로운 플랫폼을 계획하고 있다.** GPU가 놀고 있는 기업의 70%가 향후 1년 안에 새로운, 추가적인, 또는 교체용 AI 컴퓨팅 플랫폼을 도입할 계획이다. 이는 GPU가 가동 중인 기업의 74%와 거의 같은 수준으로, 통계적으로 유의미한 차이가 없다.

- **GPU가 놀고 있는 기업은 클라우드 플랫폼이나 모델 제공업체를 고려하고 있다.** 새로운 플랫폼을 계획하는 기업 가운데 90%가 선택지로 클라우드 플랫폼이나 모델 제공업체를 꼽았으며, 온프레미스 또는 코로케이션 GPU 클러스터나 자체 관리 오픈소스 스택을 꼽은 기업은 8%에 불과했다.

- **자체 스택을 운영하는 기업은 GPU 가동률이 더 높다고 보고한다.** 온프레미스 또는 코로케이션 GPU 클러스터나 자체 관리 오픈소스 스택에서 AI를 운영하는 기업 중 56%가 GPU가 최소 절반의 시간 동안 놀고 있다고 답했다. 이는 프로덕션에서 AI를 운영하는 다른 모든 기업의 83%와 대비된다. 우리는 그 이유를 묻지 않았다. 내 추측으로는, 자체 스택을 운영하는 팀은 놀고 있는 매 시간을 직접 보고 있으며, 그 시간을 채울 엔지니어도 갖추고 있다.

새로운 AI 컴퓨팅 플랫폼을 계획하는 기업 중 재무팀이 검토한 투자수익률(ROI) 수치를 가진 곳은 드물다. 9월 설문에서 새로운 AI 컴퓨팅 플랫폼을 계획하는 전체 기업의 91%가 재무팀이 검토한 투자수익률 수치를 갖고 있지 않았다. 물론 일부 유휴 용량은 의도된 것일 수 있다. 기업이 수요 급증에 대비해 GPU를 예약해 두었을 수도 있고, 계획 중인 플랫폼이 기존 플랫폼을 대체하는 것일 수도 있기 때문이다.

**다음 절감의 여지는 토큰, 컨텍스트, 에이전트에 있다**

나는 기업의 AI 지출 가운데 모델 사용에 쓰이는 비중이 점점 커질 것으로 본다. 여기서 말하는 모델 사용이란 모델 제작사와 클라우드 제공업체가 모든 요청마다 부과하는 토큰 단위 요금을 뜻한다. 이 요금은 기업이 계획을 세우고 다단계 작업을 수행하는 AI 에이전트로 옮겨 가면서 늘어날 가능성이 크다. Gartner는 2028년까지 에이전트 워크플로 하나당 추론 비용이 5배 이상 증가할 것이라고 예측했다. 추론은 모델이 각 요청에 답하기 위해 수행하는 작업이다. 토큰 하나의 가격은 떨어지고 있지만, 에이전트는 훨씬 더 많은, 그리고 더 비싼 토큰을 사용하므로 가격 하락이 이를 따라잡지 못한다.

코딩 에이전트가 처리하는 토큰의 대부분은 컨텍스트, 즉 각 단계마다 다시 읽는 지시문, 문서, 이력이다. 그래서 캐싱이 그토록 중요하다. 3월에 처음 공개된 한 기술 가이드에서 두 명의 Nvidia 엔지니어는 Claude Code 세션에서 첫 호출 이후 후속 호출들이 컨텍스트의 85%에서 97%를 캐시에서 재사용한다고 보고했다. 이렇게 컨텍스트를 재사용하는 것은 처음부터 새로 처리하는 것보다 훨씬 저렴하다. Anthropic은 모델에 따라 캐시된 토큰에 대해 일반 입력 가격의 40분의 1에서 10분의 1 사이의 요금을 부과한다.

에이전트를 추가하면 비용도 배가된다. Vals AI에 따르면, 한 명의 리드 에이전트가 최대 다섯 개의 서브 에이전트를 동시에 실행하는 코딩 에이전트 팀은 단일 에이전트보다 1.8배에서 5.1배 더 많은 비용이 들었으며, 네 가지 팀 구성 가운데 통계적으로 유의미한 수준으로 벤치마크 점수를 향상시킨 것은 하나뿐이었다.

기업은 다음 계약에 서명하기 전에, 이미 지불하고 있는 컴퓨팅과 토큰에서 더 많은 완성된 결과물을 얻어내야 한다. 실제로 이는 여섯 가지를 의미한다.

- GPU 용량과 API 지출을 모두 포함하여 완료된 작업 하나당 비용을 측정한다.

- 토큰당 가격이 아니라 완료된 작업 하나당 비용을 기준으로, 회사의 기본값으로 설정할 모델과 노력 수준을 테스트한다. 더 저렴한 모델이라도 훨씬 많은 토큰을 사용하면 작업당 비용은 더 높아질 수 있기 때문이다.

- 각 에이전트에는 필요한 컨텍스트만 전달하고, 반복되는 컨텍스트는 모델 제공업체의 API를 통하든 기업 자체 인프라를 통하든 캐시한다.

- 작업이 병렬로 나뉘는 경우에만 두 번째 에이전트를 추가한다.

- 분류, 추출, 요약처럼 일상적이고 대량으로 발생하는 작업은 프런티어 모델 API에서 유휴 용량에서 실행되는 오픈 모델로 옮긴다.

- 남은 놀고 있는 GPU 시간은 배치 추론, 모델 평가, 파인튜닝처럼 기다릴 수 있는 작업으로 채운다.

**VentureBeat의 10월 28일 서밋은 이러한 선택을 다룬다**

이러한 선택은 10월 28일 샌프란시스코에서 열리는 VentureBeat의 Agentic Infrastructure Stack Summit의 핵심 의제이며, 주제는 "더 똑똑한 에이전트에는 더 많은 메모리가 필요하다. 최고의 팀은 더 적게 쓸 것이다"이다. 행사는 네 개 파트로 진행된다.

- **에이전트를 몇 개나 운영할 것인가:** T-Mobile의 최고정보책임자 Jeff Simon, WEKA의 최고AI책임자 Val Bercovici, PayPal의 AI 시니어 디렉터 Deepika Khera, Box의 최고기술책임자 Ben Kus가 비용과 위험을 통제하면서 에이전트를 조율하는 방법을 논의한다.

- **에이전트에 얼마나 많은 컨텍스트를 줄 것인가:** Adobe의 엔지니어링 담당 시니어 부사장 Anjul Bhambhri와 Cisco의 Outshift by Cisco 시니어 부사장 겸 총괄 매니저 Vijoy Pandey가 메모리, 컨텍스트, 조율에 관해 이야기한다.

- **추론의 실제 비용은 얼마인가:** Artificial Analysis의 공동창업자 겸 CEO Micah Hill-Smith와 Uber의 디스팅귀시드 엔지니어 Uday Kiran Medisetty가 추론 경제성, 모델 라우팅, 완료된 작업의 비용에 관해 이야기한다. 이 트랙에는 또한