실리콘밸리에서 이제 승부를 가르는 것은 컴퓨팅 자원이라는 주장이 중국어 논평에서 제기됐다. 벤처캐피털들이 GPU를 확보하기 시작했다는 내용이다.

실리콘밸리가 AI 컴퓨팅 자원을 두고 완전히 미쳐 돌아가고 있다.

보도에 따르면 Anthropic CEO 다리오 아모데이조차 경쟁사 Meta의 문을 두드리며 부탁했다고 한다. "저기요, 컴퓨팅 자원 조금만 나눠 주실 수 있나요?"

Meta의 마크 저커버그는 그의 요청을 거절했고, 그 덕을 본 것은 일론 머스크였다. SpaceX는 Nvidia GPU를 Anthropic에 재판매하는 중개자 역할을 해 왔고, 이 거래는 막대한 수익을 냈다. 8월에 발표된 SpaceX의 첫 실적 보고서에 따르면, AI 사업부만으로 해당 분기 매출 25억 6,100만 달러를 기록했다. 전년 대비 247% 증가했고, 직전 분기 대비로는 약 세 배에 달했다.

컴퓨팅 자원을 확보하기 위해 실리콘밸리는 무엇이든 할 태세이며, 거대 동맹의 시대가 도래했다. 경쟁자들이 온라인에서 서로에 대해 무슨 말을 했든, 기가와트 규모의 용량을 확보하려면 결국 고개를 숙여야 한다.

그럴 수밖에 없는 사정이 있다. 뒤처지고 있는 Google을 보자.

Google은 최고 과학자 노엄 샤질을 다시 데려오기 위해 27억 달러를 썼지만, 2년 만에 컴퓨팅 자원 부족을 이유로 그가 마음을 바꿔 OpenAI에 합류했다고 전해진다.

다른 기업들은 크게 투자하고 성과를 내고 있는 반면, Google은 자선 사업을 하는 것처럼 보인다.

이제 실리콘밸리는 인재를 붙잡고, 모델을 최전선에 유지하며, AI를 실질적인 수익으로 바꾸는 일이 점점 보유한 컴퓨팅 자원의 규모에 달려 있다는 사실을 깨달았다.

**GPU가 실리콘밸리의 경화(硬貨)가 되다**

과거에는 희소한 자원이 돈과 인재였다. 이제는 컴퓨팅 경제학이 중심 무대에 올랐다.

Google처럼 막강한 기술 대기업조차 핵심 연구자들에게 충분한 GPU 자원을 보장하지 못하고 있다.

노엄 샤질은 'Transformer' 논문의 공동 저자 여덟 명 중 한 명으로 잘 알려져 있다. 그는 2021년 Google을 떠나 생성형 AI 챗봇을 개발하는 Character.AI를 창업했다. 2024년 Google은 그를 다시 데려오는 거래에 27억 달러를 지불했고, 그는 Gemini의 공동 리더가 되었다.

이런 연구자는 기술 대기업들이 자원을 투입해 지키려 경쟁해야 마땅한 인재다.

그러나 최근 해외 언론 보도에 따르면, 그의 팀 역시 컴퓨팅 자원이 재배분되는 어려움을 겪었고, 샤질은 경쟁사 OpenAI로 옮길 수밖에 없었다고 한다.

Demis Hassabis도 프로젝트에 필요한 컴퓨팅 자원이 부족하다는 불만을 오랫동안 드러내 왔으며, 이것이 그가 DeepMind CEO직에서 물러나는 결정에 영향을 주었다고 전해진다.

Google 내부에서는 자원을 어떻게 배분해야 하는지를 두고 상당한 의견 대립이 있다. 세르게이 브린은 때때로 직접 개입해, 중요하다고 판단하는 프로젝트로 자원을 돌리기도 한다.

결국 근본 문제는 컴퓨팅 자원이 충분하지 않다는 데 있으며, 회사는 신중하게 우선순위를 정할 수밖에 없다.

회사 바깥의 경쟁은 업계 내 관계를 한층 더 복잡하게 만들고 있다.

OpenAI, Anthropic 같은 최상위 스타트업들은 모델 성능뿐 아니라 데이터센터, 서버, 전력 공급을 두고도 경쟁해야 한다.

Anthropic이 그 대표적인 사례다. 컴퓨팅 수요가 너무 커진 나머지, 다른 모델 기업과 공급 문제를 논의해야 했다.

5월에 체결된 SpaceX와의 파트너십 계약에 따라, 220,000개의 Nvidia GPU가 포함된 300메가와트 이상의 신규 용량이 같은 달 가동될 예정이었고, Claude Code와 API의 사용 한도도 상향되었다.

간단히 말해, 목표는 프런트엔드를 공급할 수 있도록 백엔드가 더 많은 컴퓨팅 자원에 접근하게 하는 것이다. 컴퓨팅이 많아지면 모델이 강해지고, 사용자가 머무른다.

그 결과 모델 기업들 간의 경쟁은 이제 두 개의 트랙에서 동시에 벌어진다.

제품 차원에서는 여전히 사용자와 개발자를 두고 경쟁한다. 인프라 차원에서는 자원을 빠르게 공급할 수 있는 기업이라면 누구든 잠재적 파트너가 될 수 있다.

**그렇다면 소규모 AI 스타트업은 어떻게 되는가?**

그들의 상황은 훨씬 더 극적이다.

이들 기업은 자체 데이터센터를 구축할 수 없다. 과거에는 AWS 같은 클라우드 플랫폼에서 GPU를 필요할 때 빌려 쓰고, 사용한 만큼만 지불할 수 있었다.

그러나 선도적인 AI 연구소들이 대규모 컴퓨팅 자원을 선점하면서, 일부 클라우드 사업자는 다년 계약을 요구하고 계약 금액의 최대 30%를 선급하도록 하며, 경우에 따라 스타트업에 지급 보증인을 찾아오라고 요구하기 시작했다.

이런 변화는 스타트업을 딜레마에 빠뜨렸다.

컴퓨팅 자원을 너무 많이 구매했는데 사용자 증가가 기대에 못 미치면, 계속 소진되는 현금은 낭비가 된다. 반대로 너무 적게 구매하면 수요를 감당할 컴퓨팅 능력이 부족해져 성장 기회를 �칠 수 있다.

이로 인해 새로운 사업이 등장했다. 전 세계에서 컴퓨팅 자원을 찾아내는 사업이다.

개념은 전 세계에서 충분히 활용되지 않는 AI 서버 용량을 찾아내 자원이 필요한 기업에 임대하는 것이다.

예를 들어 San Francisco Compute는 미국 시골 지역으로 가서 낡은 닭장에 있던 서버를 수거하고 있다고 전해진다. 머스크 역시 TSMC와 컴퓨팅 협력을 더 확대하는 방안을 논의했다.

실리콘밸리의 최상위 벤처캐피털도 직접 GPU를 비축하기 시작했다. 7월에 Y Combinator는 포트폴리오 스타트업을 위한 전용 GPU 클러스터를 출시했고, Radical Ventures는 포트폴리오 기업이 공급업체 계약을 협상하도록 돕고 있다.

모델을 학습하거나 배포하는 소규모 팀에게 이는 당장의 숨통을 틔워 준다.

**컴퓨팅 경쟁이 통제 불능으로 치닫고 있다**

부족 현상을 막는 것만으로는 충분하지 않으며, 이러한 컴퓨팅 부족의 원인은 꽤 복잡하다.

OpenAI, Meta, 심지어 Google까지 새로운 데이터센터를 적극적으로 짓고 있으며, 미래에 방대한 GPU 용량을 약속하고 있다.

그러나 모델에 대한 수요는 이러한 프로젝트가 실제로 공급할 수 있는 속도보다 더 빠르게 늘고 있다. 시차에서 생기는 격차, 또는 그 사이에 내세운 거창한 약속이 기업들이 여전히 컴퓨팅 자원을 계속 찾아야 하는 한 가지 이유다.

사용자가 AI와 상호작용하는 방식 또한 항상 눈에 띄지는 않지만 공급에 압박을 가하고 있다.

올해부터 에이전트가 사람들이 AI를 사용하는 핵심 방식으로, 한 번 묻고 한 번 답하는 방식을 대체하기 시작했다. 지속적이고 장시간 이어지는 작업은 훨씬 더 많은 병렬 연산을 처리할 서버를 필요로 한다.

수요가 늘면서 칩 임대 가격도 극적으로 변해 왔다.

올해 4월 SemiAnalysis가 발표한 데이터에 따르면, H100의 1년 임대 가격은 2025년 10월 GPU당 시간당 1.70달러의 저점에서 2026년 3월 2.35달러로 상승했으며, 이는 거의 40% 증가한 수치다.

GPU가 금만큼 가치가 있다는 주장은 근거 없는 말이 아니다.

즉시 공급할 수 있고 안정적으로 작동하는 컴퓨팅 자원은 부족하고, 신규 용량은 아직 멀었다. 이러한 요인들이 함께 컴퓨팅 시장의 곤경을 만들어 냈다.

그 결과 컴퓨팅 자원의 지배력은 점점 구체화되고 있다.

업계 거인에 도전하는 스타트업의 서사는 아마 희미해질 것이다. 명확한 전망을 가진 기업이라도 컴퓨팅 자원이 없으면 실패할 수 있다.

컴퓨팅이 AI 시대의 입장권이 되고 있으며, 자체 인프라를 보유한 대기업의 우위가 강화되고 있다는 점이 점점 분명해지고 있다.

요컨대, 컴퓨팅을 가진 자가 힘을 갖는다.

AI 제품을 만드는 기업들은 이제 고려할 것이 더 많아졌다. 아무도 제품을 쓰지 않을 가능성과, 사용자 증가 속도가 자신들의 컴퓨팅 확장 속도를 앞지를 가능성을 동시에 걱정해야 한다.

그러나 역경은 기회를 동반하기도 한다. 곡괭이를 파는 중개자들이 번성하고 있다.

그렇지, 젠슨?

**참고 자료**

1. https://www.wsj.com/tech/ai/ai-computing-power-demand-a63da9b9?st=tzDj41

2. https://www.anthropic.com/news/higher-limits-spacex

3. https://newsletter.semianalysis.com/p/the-great-gpu-shortage-rental-capacity