EpochAI reports quarterly AI inference costs have dropped 47%, driven by chip efficiency gains and manufacturing scale.

인공지능 경쟁이 심화되면서 인프라 투자는 계속 기하급수적으로 증가하고 있지만, AI 모델이 작업을 수행할 때 발생하는 직접 계산 비용인 추론 비용은 역사적으로 전례 없는 속도로 감소하고 있습니다.

비영리 연구 기관인 EpochAI에 따르면, 동등한 AI 성능을 달성하기 위한 비용은 2023년 이후 분기당 약 47% 감소했습니다. 이러한 감소 속도는 추론 비용이 1년 내에 원래 값의 13분의 1로 떨어진다는 의미입니다. 데이터 센터에 대한 전 세계 누적 지출이 2050년까지 30조 달러를 초과할 것으로 예상되고 있는데(미국 재무부 채권 누적 발행액 규모와 맞먹는 금액), AI의 직접 계산 비용은 가속화되어 하락하고 있습니다.

EpochAI는 이러한 비용 감소를 "인류 산업 역사에서 거의 볼 수 없는 기록 경신의 속도"라고 표현했습니다. 인플레이션을 감안하면, AI 추론 비용 감소율은 DNA 분석 기술보다 4배 빠르고, 컴퓨터 처리 능력 발전보다 6배 빠르며, 리튬이온 배터리 개선보다 18배 빠릅니다.

구체적으로, OpenAI의 2025년 1월 모델 "o3"는 물리학, 화학, 생물학의 박사급 전문 지식을 테스트하는 "GPQA Diamond" 시험에서 75% 정확도를 달성하기 위해 문제당 평균 30센트의 비용이 필요했습니다. 이와 대조적으로, 18개월 후 출시된 "GPT-5.6 Luna" 모델은 동일한 시험에서 동일한 성능을 단 0.04센트만으로 달성했습니다. EpochAI는 이러한 궤적을 5천만 원으로 책정된 신차가 18개월 내에 갑자기 7만 원으로 떨어지는 것에 비유했습니다.

이러한 가속화는 고성능 모델을 효율적으로 복제할 수 있게 해주는 증류 훈련 방식의 광범위한 채택과 고급 AI 모델에서 비롯됩니다. 이 접근 방식은 비용을 분기당 66% 감소시켰습니다. EpochAI가 언급한 바와 같이: "빅테크가 최첨단 모델 개발에 막대한 자본과 에너지를 쏟아붓더라도, 프리미엄 가격 책정을 통해 기술적 우월성을 현금화하는 기간은 순간적입니다."