Technology Org는 Musk와 OpenAI가 지출을 줄이면서 컴퓨팅 비용이 개인용 AI 에이전트를 압박하고 있다고 보도했다.

개인 AI 에이전트의 컴퓨팅 비용

OpenAI는 자사 Dots 어시스턴트를 가장 큰 모델인 GPT-6 Astra에서 구동되도록 만들었다. 이제 이 중 일부 작업을 더 작은 모델이며 연산 능력을 적게 필요로 하는 GPT-6.1 Terra로 보내고 있다. 이번 전환은 일론 머스크가 Grok Bot의 운영 비용을 "매출 대비 지속 불가능할 정도로 높다"고 말한 같은 주에 이루어졌다. 두 움직임을 함께 보면, 항상 켜져 있는 개인 AI 에이전트가 개발사들이 얼마나 많은 컴퓨팅 자원을 감당할 수 있는지 시험하고 있다는 사실이 드러난다.

**핵심 요약**

- 머스크는 Grok Bot의 비용이 "매출 대비 지속 불가능할 정도로 높다"고 말했으며, 사용자가 한도에 더 빨리 도달하도록 컴퓨팅 할당량이 제한되고 있음을 시사했다.

- OpenAI는 Dots 작업을 더 큰 GPT-6 Astra에만 맡기지 않고, GPT-6.1 Terra를 포함한 여러 모델에 분산시킬 예정이다.

- OpenAI 임원은 각 어시스턴트가 자체 클라우드 컴퓨터를 할당받기 때문에 Dots가 "컴퓨팅 부담이 큰 편"이라고 밝혔다.

**Grok Bot, 비용의 벽에 부딪히다**

SpaceX는 8월에 개인 AI 어시스턴트인 Grok Bot을 출시했다. 이번 주 머스크는 이를 운영하는 비용이 "매출 대비 지속 불가능할 정도로 높다"고 말했다.

그는 회사가 이 제품에 배정된 컴퓨팅 자원을 줄이고 있다고 시사했다. 그 결과 사용자들은 사용량 한도에 더 빨리 부딪히고 있다.

**OpenAI, Dots가 무겁다는 점을 인정하다**

월요일 밤 뉴욕에서 열린 기자 저녁 모임에서 ChatGPT 소비자 사업을 총괄하는 Adam Fry는 OpenAI의 Dots 어시스턴트가 "컴퓨팅 부담이 큰 편"이라고 말했다.

각각의 Dot에는 자체 클라우드 컴퓨터가 할당된다. 사용자는 이 가상 컴퓨터를 이용해 작업을 수행하며, 사용자가 허용한 계정과 서비스에 로그인한다.

Dots는 이미 이메일을 읽고 답장하고, 행사 입장권을 찾아 예약하며, 그 밖의 어시스턴트 업무를 처리한다. 계획 중인 "백그라운드 모드"는 Dots가 하루 24시간 조용히 작업을 이어 가도록 하는 것을 목표로 한다.

현재는 Pro 구독자만 이용할 수 있다. Fry는 모델 성능이 계속 향상되더라도 컴퓨팅 효율의 돌파구가 생겨 비용이 빠르게 내려갈 것으로 기대한다고 말했다.

**더 작은 모델로 작업 넘기기**

화요일 OpenAI는 Dots용 작업 라우터를 공개했다. 이제 모든 작업을 GPT-6 Astra로 보내는 대신, 시스템이 GPT-6.1 Terra를 포함한 여러 모델에 작업을 나눠 맡긴다.

Terra는 Astra보다 작고 컴퓨팅 자원을 적게 소모한다. OpenAI는 10월 말 컴퓨터 사용에 특화된 빠른 모델로 이를 출시했으며, 입력 토큰 100만 개당 1달러로 가격을 책정했다.

문제는 단순하다. 에이전트가 더 유능해지고 더 자주 활동할수록 더 많은 컴퓨팅 자원을 소모하므로, 효율 개선 효과는 나타나자마자 사라질 수 있다.

OpenAI의 다른 소비자 사업도 같은 방향으로 가고 있다. Fry는 ChatGPT의 음성 모드가 현재 주간 활성 사용자 2억 5천만 명을 확보했다고 말했으며, OpenAI는 ChatGPT가 구글 검색량의 5분의 1을 처리한다고 주장한다.

**더 넓어지는 컴퓨팅 부족 현상**

문제는 수요가 아니다. X에서 공유된 사용자 데이터에 따르면 Grok Bot의 일일 사용자는 9월 초 10만 명 미만에서 10월 26일 60만 명 이상으로 늘었으며, 이 제품에는 무료 요금제도 없다. Meta는 Muse 에이전트가 출시 후 약 6주 만에 미국과 캐나다에서 1천만 명 이상이 설정했다고 밝혔다. 경쟁 제품도 계속 등장하고 있으며, Anthropic은 선제적 에이전트 앱인 Claude Duet의 연구 미리보기를 공개했다.

이런 사용자들을 감당하려면 막대한 인프라가 필요하다. Anthropic의 기업공개(IPO) 신고서는 8,954억 달러의 구매 약정을 명시하며, 그 "대부분이 컴퓨팅 및 인프라와 관련된다"고 밝히고 컴퓨팅 부족을 주요 위험 요인으로 꼽았다. 데이터센터에 대한 지역 사회의 반발도 강해져, OpenAI는 이제 데이터센터를 "컴퓨팅 캠퍼스"라고 부르고, 지역 전력망에 부담을 주지 않겠다고 약속하는 프로그램을 시작했다. 한 경제학자가 빅테크 바깥에서는 AI의 수익이 확인되지 않는다는 연구 결과를 내놓으면서, 투자자들은 이 막대한 지출이 언제 수익으로 돌아올지 알고 싶어 한다.