OpenAI는 소프트웨어 최적화 및 커스텀 알고리즘으로 ChatGPT 추론 비용을 50% 이상 절감.
OpenAI 엔지니어들이 이달 특정 모델 운영 비용을 약 절반으로 단축하는 추론 최적화를 개발했다고 The Information의 보도에 따르면 밝혀졌다. 이러한 성과는 전적으로 소프트웨어에서 비롯되었다. 구체적으로는 기존 GPU 서버 자원의 활용 효율성 개선이다. 새로운 하드웨어도 없고, 아키텍처 개편도 없다. 이미 있던 것을 더 효율적으로 짜낸 것일 뿐이다.
실제 영향은 놀랍다. 로그아웃 상태의 ChatGPT 트래픽(인증 없는 일반 사용자의 대량 쿼리)에 적용한 결과, 그 전체 세그먼트를 서빙하는 데 필요한 GPU 수가 수백 개로 줄어들었다. 규모 있게 처리하기 위해 이전에 필요했던 훨씬 많은 컴퓨팅 자원이 극적으로 압축된 것이다.
이 시점은 중요하다. OpenAI는 동시에 Broadcom과의 제휴를 통해 Jalapeño 칩 프로젝트로 맞춤형 실리콘을 추진하고 있다. 이것은 저비용 추론의 하드웨어 경로다. 이 최적화는 소프트웨어 경로다. 같은 핵심 변수인 규모당 비용에 대한 두 가지 병렬적 베팅이다. 소프트웨어가 먼저 이 성과를 실현했다는 것은 투자자와 경쟁사들이 수익성 전망을 어떻게 평가해야 하는지를 재형성한다.
추론 비용은 OpenAI의 지배적 운영비용이다. 회사는 지속 가능한 단위 경제성이 먼 곳에 있어 보일 정도로 빠른 속도로 컴퓨팅을 소비한다. GPT-4 쿼리 비용은 경쟁사보다 몇 배 높다. 그런데 분석가들이 AI 회사를 모델링할 때 지속적인 가정은 컴퓨팅 비용 감소가 주로 하드웨어 문제라는 것이다. NVIDIA가 더 빠른 칩을 출시할 때까지 기다리거나 직접 ASIC을 제조하고, 다음 조달 사이클에 경제성이 개선된다. OpenAI의 6월 최적화는 이 가정을 깔끔하게 깨뜨렸다.
엔지니어링 팀이 성취한 것은 위대한 인프라 회사들이 항상 해온 것에 가깝다. 시스템의 유휴 부분을 찾는 것이다. 대규모 추론에서 GPU 활용은 악명높게 비효율적이다. 배칭 전략, 메모리 대역폭 제약, KV-cache 관리, 추측 디코딩 트레이드오프. 어느 한 차원에서라도 의미 있는 개선은 OpenAI가 운영하는 규모에서 복합적으로 작용한다. 수십억 달러 규모의 비용 항목에서 약 50% 비용 감소는 최적화가 아니다. 이것은 비즈니스 모델의 구조적 재가격화다.
로그아웃 상태의 ChatGPT 트래픽을 수백 개의 GPU로 줄인 것이 가장 유익한 데이터 포인트다. 로그아웃 상태의 트래픽은 OpenAI가 서빙하는 최대 규모 최저 수익화 세그먼트다. 쿼리당 수익률이 최악인 비용 센터다. 이를 이전 컴퓨팅 공간의 일부로 압축하면 해당 GPU를 유료 워크로드에 할당하거나, 자본 지출 요구사항을 줄이거나, 둘 다를 할 수 있다. 이것은 가장 큰 부담을 주는 세그먼트의 기여 마진에 대한 직접적인 개선이다.
대상 모델에 대한 추론 비용의 약 50% 감소는 반올림 오차가 아니다. 이것은 단위 경제성의 단계적 변화다. OpenAI가 더 광범한 모델 포트폴리오에 비슷한 최적화를 적용할 수 있다면, 쿼리당 수익과 쿼리당 비용의 격차는 어떤 하드웨어 로드맵도 제공할 수 없을 만큼 빠르게 좁혀진다. 지속 가능한 총 마진으로의 경로가 단축되었다. 단 하나의 칩도 제조되지 않았다.
Anthropic, Google DeepMind, Meta AI는 모두 OpenAI의 알려진 비용 신호에 대해 추론 효율성을 벤치마킹한다. 그 신호가 소프트웨어 메커니즘을 통해 절반으로 재가격화되었다면(경쟁사들이 복제했을 수도, 아닐 수도 있다), 가격 책정상 경쟁 우위는 확대된다. OpenAI는 마진을 확대하거나 가격을 낮출 수 있다. 둘 다 비용 수렴을 가정한 경쟁사들에게 위험하다.
OpenAI의 Broadcom이 제조한 맞춤형 ASIC은 항상 장기 베팅이었다. 설계, 테이프아웃, 검증, 배포. 소프트웨어 경로가 먼저 결실을 맺었다. 이것이 하드웨어 전략을 없애지는 않는다. 오히려 그 야심을 검증한다. 소프트웨어만으로 상용 GPU에서 비용을 절반으로 줄일 수 있다면, OpenAI의 추론 패턴에 최적화된 맞춤형 칩은 이러한 이득을 더욱 크게 배수로 만들 수 있다. 하드웨어와 소프트웨어 경로는 이제 경쟁적이 아니라 누적적이다. 소프트웨어 이득은 커스텀 하드웨어가 배수로 증가시킬 기초가 된다.
OpenAI의 소프트웨어 최적화는 AI 스택의 추론 인프라 레이어에서 OpenAI의 위치를 직접 개선한다. 이것은 규모에서 서빙 비용을 결정하는 레이어다. 이것이 마진이 나거나 손실이 나는 곳이다. 주어진 트래픽 볼륨을 서빙하기 위해 더 이상 임차하거나 구매할 필요가 없는 모든 GPU는 칩 임차 시장에서 사라지는 수요다. 소프트웨어 효율성은 구조적으로 컴퓨팅 제공자들에게 수요 역풍이다.