AI 추론의 실제 비용 분석이 보조금, 특화 칩, 그리고 황금기의 지속 가능성 문제를 드러냅니다.

어느 익숙한 회사가 최근 고객 위해 방대한 레거시 코드베이스에 대한 감사 작업을 수행했습니다. 이전에는 AI 코딩 어시스턴트를 적극적으로 활용하는 것을 포함한 전체 워크플로우가 월 $200 구독 요금 내에 여유 있게 들어갔습니다. 이번에는 GitHub Copilot이 토큰 단위로 과금하거나 유사한 방식으로 전환되는 등 사용량 기반 가격 책정 모델 하에서, 동일한 작업은 약 $2,000의 비용이 발생할 것으로 예상됩니다. 무엇이 변했을까요? 코드가 바뀐 것이 아니라, 모델 뒤의 경제 구조가 달라진 것입니다.

이것은 고립된 일화가 아닙니다. 이는 현재 AI 분야에서 가장 중요하지만 가장 덜 논의되는 동력 중 하나를 보여주는 창구입니다: 소비자와 파워 사용자가 실제로 지불하는 금액과 대규모 추론(Inference)을 실행하는 데 드는 실제 비용 사이의 격차입니다. 다량의 사용자들은 막대한 보조금을 받고 있으며, 기업들이 IPO와 수익성을 눈앞에 둔 상황에서 이러한 모델의 지속 가능성은 의문스럽습니다.

SemiAnalysis는 Anthropic(Claude)과 OpenAI(ChatGPT)의 모든 주요 구독 등급을 구매하고, 주간 한도에 도달할 때까지 장기간의 코딩 및 에이전트 작업을 통해 이를 스트레스 테스트했습니다. 이는 이론적인 숫자가 아니며, 전문 개발자 워크플로우를 모방한 실제적이고 지속적인 사용에서 비롯된 데이터입니다. 대부분의 일반 사용자는 이러한 한도에 거의 도달하지 못하므로, 전반적인 경제 구조는 평균적으로 작동합니다(뷔페에서 가벼운 식사가 무거운 식사를 보조하는 것과 같습니다). 하지만 진정한 생산성 향상을 주도하는 바로 그 사람들과 회사인 파워 사용자에게 효과적인 할인율은 막대합니다. API 사용에 대한 높은 총마진을 가정할 때(분석의 벤치마크로 약 75%), 높은 가동률에서는 구독 마진이 훨씬 더 나빠 보입니다. 연구소들은 기술이 성숙해지면서 사용자를 유지하고 습관을 형성하기 위해 사실상 컴퓨팅 자원을 무료로 제공하고 있습니다.

추론(Inference)—학습된 모델을 실행하여 출력을 생성하는 과정—은 AI에서 지배적인 지속적 비용이며, 프로덕션 환경에서 총 GPU 지출의 55~80%를 차지하는 경우가 많습니다. 전반적으로 동등한 지능을 제공하는 토큰당 비용은 극적으로 하락했습니다(경우에 따라 수백 배 저렴해짐). 그러나 사용량이 폭발적으로 증가함에 따라 연구소의 절대 지출액은 여전히 막대합니다. OpenAI와 같은 기업들은 거대한 추론 관련 손실을 보고했으며, 수익이 성장함에도 불구하고 향후에도 막대한 소모(예: 연간 수십억 달러)가 계속될 것으로 전망하고 있습니다.

소비자용 구독 상품은 특히 파워 사용자에게 심하게 보조되고 있습니다. 이는 사용자를 확보하고 데이터 및 피드백을 수집하며 마음가짐(Mindshare)을 유지하려는 의도적인 전략입니다. 이는 막대한 벤처 캐피탈과 전략적 투자(OpenAI의 경우 Microsoft, Anthropic의 경우 Amazon과 Google 등)로 자금 조달됩니다. 반면 기업 및 API 고객은 원가에 근접하거나 수익성 있는 가격 책정을 적용받습니다. 대규모 계약에는 종종 볼륨 할인이 포함되거나, 예약된 용량 또는 전용 인프라가 제공되지만, 이들은 컴퓨팅의 실제 한계 비용에 더 가까운 가격을 지불합니다. 이것이 연구소들에게 실제 마진이 발생하는 곳입니다.

수학은 긴박감을 설명합니다. 만약 연구소가 API 토큰에 대해 약 75%의 총마율을 가진다면, 최대 용량으로 사용된 구독은 심각한 적자 마율로 전환될 수 있습니다. 모든 구독자의 평균 가동률은 현재 전체 비즈니스를 부양하고 있습니다. 그러나 OpenAI와 Anthropic 모두 공개 시장 데뷔를 준비 중인 것으로 알려졌습니다. 투자자들은 결국 성장과 시장 점유율이 아닌 이익을 요구합니다. 우리는 이미 초기 징후들을 목격했습니다: Copilot과 같은 도구에서의 사용량 기반 가격 책정으로의 이동, 쿼터 조정, 기능 게이트팅 실험 등이 그것입니다. 다량 사용자를 위한 '무료' 또는 초저가 지능 시대가 정점에 달했을 가능성이 높습니다.

그럼에도 불구하고, 더 나은 칩, 소프트웨어 최적화 및 규모 확장에 힘입어 추론 비용 하락이라는 근본적인 추세는 계속되고 있습니다. 연구소는 시간이 지남에 따라 더 강력한 모델을 더 낮은 가격으로 수익성 있게 제공할 수 있습니다. 다만, 무제한 다량 사용에 대한 현재의 보조금 수준으로 제공되지는 않을 뿐입니다.

이 상황은 과거의 인프라 붐을 연상시킵니다. 철도 확장기와 닷컴 버블기의 광케이블 구축 시기 동안, 기업들은 용량을 과잉 건설했고 많은 기업이 파산했으며 투자자들은 재산을 잃었습니다. 그러나 사회는 수십 년간의 성장을 가능하게 한 내구성 있고 변혁적인 인프라를 얻게 되었습니다. AI에서도 우리는 칩, 데이터 센터 및 모델에 막대한 자본을 투입하는 유사한 단계에 있습니다. 공급자들 사이에서는 아마도 통합, 실패 및 정리 정리가 있을 것입니다. 그러나 '레일'(컴퓨팅 인프라, 효율적인 모델 및 도구)은 남아있고 개선될 것입니다.

오픈소스 모델, 자체 호스팅 옵션 및 특수화된 추론 제공업체들은 이미 많은 워크로드에 대해 더 저렴한 대안을 제공하고 있습니다. 가격 체계는 다량의 전문적인 사용에 있어 오늘날과 정확히 동일하게 보이지 않을 것입니다. 계층화가 더욱 명확해질 것으로 예상됩니다: 관대하지만 제한된 소비자 플랜, 더 높은 가격의 프리미엄 '무제한' 옵션, 그리고 견고한 기업용 제품 등이 그것입니다. 최전선의 모델들은 일반 및 다량의 개인 사용자에게 상대적으로 더 비싸지거나 제한될 수 있지만, 효율성 향상과 경쟁(오픈 모델 및 비서양 제공업체 포함)을 통해 전반적인 지능은 더 저렴하고 접근하기 쉬워질 것입니다.

파워 사용자와 기업들은 워크플로우를 최적화하여 적응할 것입니다—캐싱, 간단한 작업용 소형 모델, 에이전트 오케스트레이션, 합리적인 경우 자체 호스팅 등을 통해이거나, 보장된 액세스를 위해 더 많은 비용을 지불함으로써입니다. 집중적인 코딩 및 에이전트 작업을 위한 월 $200 '무제한' 황금기는 일시적인 과도기일 가능성이 높습니다.

우리는 실험과 채택을 가속화하는 특별한 기간의 보조된 지능 속에서 살고 있습니다. 현재 형태로는 오래가지 않겠지만, 구축 중인 인프라는 앞으로 몇 년간 생산성 향상을 뒷받침할 것입니다. 중요한 질문은 AI가 더 비싸지는지가 아니라, 비용이 능력 대비 얼마나 빠르게 하락하느냐, 그리고 누가 가치를 포착하느냐입니다. 적절히 가격 책정되고 현명하게 사용된다면, 이 기술은 역사상 가장 큰 레버리지 기회 중 하나를 여전히 대표합니다. 보조금은 우리가 이를 해결할 시간을 벌어주었습니다. 이제 진정한 경제 구조가 선명하게 드러나고 있습니다.