모델 최적화, 양자화, 엣지 디바이스 배포를 통한 AI 추론 비용 절감 산업 이니셔티브가 탄력을 얻고 있다.
글로벌 기업들이 급증하는 인공지능 비용을 줄이기 위해 '비용 절감 전쟁'을 벌이고 있습니다. AI 사용 시마다 발생하는 비용인 추론(inference) 비용을 낮추기 위한 경쟁이 단순한 사용량 감소를 넘어 심화되고 있으며, 기업들은 이제 하드웨어와 소프트웨어 최적화에 막대한 투자를 하고 있습니다.
The Information의 최근 보도에 따르면, OpenAI 엔지니어들은 새로운 최적화 기법을 통해 기존 추론 비용을 절반 이하로 줄였습니다. OpenAI가 전체 방법론을 공개하지는 않았지만, 이 방식을 통해 추론에 필요한 그래픽 처리 장치(GPU)의 개수가 약 200개로 크게 감소했습니다. 낮은 사용량의 단순한 작업을 처리하는 미등록 ChatGPT 계정에서 수행된 이 테스트는 소프트웨어 기반 개선이 추론 효율을 상당히 향상시키고 비용을 줄일 수 있음을 보여주었습니다.
**비용 압박**
AI 기업들은 사용량이 폭증함에 따라 추론 비용을 줄여야 한다는 압박을 받고 있습니다. 자율적으로 판단을 내리고 작업을 실행하는 AI 에이전트는 AI 시스템의 기본 데이터 처리 단위인 토큰(token) 소비를 급격히 증가시킵니다. Goldman Sachs Research는 AI 에이전트로부터의 글로벌 월간 토큰 소비가 올해 5.6 trillion개에서 2030년 11.77 quadrillion개로 증가할 것으로 예상하고 있으며, 이는 21배 증가입니다. Linux Foundation 산하 FinOps Foundation의 이사인 JR Storment는 "기업들이 AI 추론 비용으로 인한 실존적 위기를 맞닥뜨리고 있다는 이야기를 듣기 시작했습니다"라고 말했습니다.
**소프트웨어 솔루션**
AI 기업들은 다양한 소프트웨어 기반 전략을 배포하고 있습니다. OpenAI의 최근 최적화는 성능 저하 없이 계산 정밀도를 줄이는 양자화(quantization), 계산 부하를 낮추기 위한 고정 배치 처리, 그리고 단순 쿼리를 자동으로 저비용 모델로 전달하는 모델 라우팅을 결합합니다. DeepSeek은 '인덱서(indexer)'라고 불리는 별도의 컨텍스트 관리 도구를 사용하여 모든 토큰 쌍을 비교하는 대신 작업과 관련된 토큰만 처리하는 'DeepSeek Sparse Attention (DSA)'를 개발했습니다. DeepSeek은 이것이 이전 성능을 유지하면서 추론 비용을 절반 이상 줄인다고 보고합니다.
**하드웨어 경쟁**
하드웨어 혁신이 동시에 가속화되고 있습니다. OpenAI는 Broadcom과 공동 개발한 첫 번째 자체 추론 칩인 'Jalapeño'를 공개했습니다. 설계 과정에 AI를 통합함으로써, 팀은 일반적으로 2~3년이 걸리는 작업을 9개월 만에 파운드리에 최종 설계도를 전달했습니다. OpenAI는 이 칩이 "와트당 성능 측면에서 기존의 최고 성능 AI 가속기를 크게 능가한다"고 밝혔습니다.
주요 기술 기업들은 전용 추론 칩을 개발하기 위해 경쟁하고 있습니다. Google은 8세대 TPU 이후로 학습과 추론을 위한 별도의 칩을 설계했습니다. Microsoft는 1월에 추론 전용 'Maia 200'을 출시했습니다. NVIDIA는 작년에 추론 최적화 언어 처리 장치를 전문으로 하는 스타트업인 Groq를 인수했으며, 그 낮은 지연 시간 기능을 NVIDIA의 AI 아키텍처에 통합했습니다.
국내 기업인 Rebellions와 FuriosaAI는 NVIDIA GPU보다 높은 성능과 낮은 전력 소비를 제공하는 추론 특화 칩으로 시장을 겨냥하고 있으며, 총 사용 비용을 줄이고 있습니다. Rebellions는 2세대 칩인 'Rebel 100'을 Saudi Aramco에 공급했으며, Furiosa는 'Renegade' 칩의 대량 생산을 시작했습니다.
**패러독스**
AI 추론 단위 비용은 감소하고 있습니다. 그러나 AI 사용량이 증가함에 따라 총 추론 비용은 계속 상승하고 있으며, 이는 개선된 효율성이 소비 증가를 주도하는 Jevons' paradox의 한 예입니다. 시장 조사 회사 Sacra에 따르면, OpenAI의 연간 추론 지출은 2025년 $8.4 billion에서 2026년 $14.1 billion으로 증가할 것으로 예상됩니다. 한 기술 업계 관계자는 "급증하는 추론 수요는 결국 AI를 구동하는 데 필수적인 메모리의 필요성을 주도할 것"이라고 관찰했습니다.