수십억 명의 일일 사용자를 지원하는 중국 앱들이 크로스클라우드 아키텍처 최적화를 통해 GPU 클러스터 규모를 75% 감축, 추론 비용 효율성의 획기적 진전을 입증했다.

위챗, 틱톡, 인스타그램과 같은 글로벌 거대 기업들이 10억 사용자 앱 tier를 장악하고 있지만, 오늘 AI 패션 스타일링 및 쇼핑 추천을 위한 파격적인 수출 앱이 진정으로 그들과 어깨를 나란히 하게 되었다. 사용자는 셀카를 업로드하면, AI는 실시간으로 잠금 화면에 사실적인 라이프스타일 장면 합성 이미지를 생성하고 정확한 쇼핑 추천을 제공한다.

경제 구조는 잔혹한 이야기를 들려주었다. 신흥 시장에서 팀이 광고 수익과 모네타이제이션 수익을 전체 사용자 기반에 분배했을 때, ARPU(사용자당 평균 수익)는 고작 2달러에 불과했다.

더 많은 사용자는 더 빈번한 잠금 화면 새로고침을 의미했고, 이는 더 빠른 현금 소모로 이어졌다—즉, 죽음의 나선이었다. 회사는 근본적인 질문에 직면했다: 클라우드 인프라가 어떻게 10억 사용자 앱을 비즈니스 생존 위기로 몰아넣었는가?

그들은 글로벌 상위권 클라우드 거대 기업의 GPU 용량을 임대하여 NVIDIA L4 GPU에서 오픈소스 이미지 생성 모델을 배포했다. 구성에 따라 시간당 가격은 0.70달러에서 8달러까지 다양했다. 실제 테스트 결과, L4를 사용하여 하나의 AI 고화질 이미지를 생성하는 데에는 무려 12초가 소요되었다.

앱의 잠금 화면은 자동으로 새로고침되었으며, 사용자가 셀카를 업로드한 후 시스템은 하루에 약 세 번의 동등한 추론을 수행했다. 이로 인해 GPU 임대 비용만으로도 사용자당 연간 약 2.55달러가 들었다.

더 큰 문제는 유휴 용량이었다. 2.55달러라는 수치는 GPU가 연중무휴 최대 가동된다는 가정 하에 산출된 것이다. 트래픽의 물결이나 GPU의 유휴 시간이 발생하면 실제 이미지당 비용은 3달러를 훨씬 초과하게 된다.

전통적인 클라우드 가격은 일반적으로 GPU와 CPU만을 커버했다. 하지만 이미지는 전 세계 사용자에게 전달되어야 했으며, 국경 간 아웃바운드 트래픽에는 추가 요금이 부과되었다. 이미지당 몇 메가바이트는 사소한 것처럼 보였지만, 수십억 명의 일일 활성 사용자에게 곱해지면 국경 간 이그레스(e-gress) 비용은 천문학적으로 불어났다. 한 수출 중심 AI 임원은 비관적으로 농담하듯 말했다. "전통적인 엔터프라이즈 클라우드에서는 업계 규칙이 이렇게 정해져 있습니다: 컴퓨팅 비용이 10,000달러라면 트래픽 비용은 5,000달러입니다."

많은 수출 앱들은 서비스를 handful의 중앙 데이터 센터에 집중시켰지만, 사용자는 전 세계에 흩어져 있었다. 광섬유에는 물리적 한계가 있다. 국경 간 왕복 지연 시간은 흔히 수백 밀리초에 달했다. 업계 테스트 결과, 네트워크 지연 시간이 단 14밀리초라도 GPU 활용도를 70%로 떨어뜨려 컴퓨팅 자원의 30%를 낭비시키는 것으로 나타났다. 비싼 컴퓨팅 비용, 치솟는 트래픽 비용, 지연으로 인한 GPU 유휴 시간—이 삼중고가 수출 AI 팀들을 짓눌렀다.

죽음의 나선에 직면했지만, 회사는 포기하지 않았다. 글로벌 클라우드 제공업체들을 평가한 끝에 과감한 전환을 단행했다: Akamai의 추론 클라우드로 전환하고 NVIDIA RTX PRO 6000을 중심으로 GPU 선택을 재구성했다.

이는 전통적인 플래그십 학습용 카드가 아니지만, AI 추론 측면에서는 파괴적인 '차원 공격' 무기이다. RTX PRO 6000의 고급 아키텍처와 96GB의 초대용량 VRAM(대형 모델과 높은 동시성 KV 캐시를 완벽하게 처리) 덕분에 생성 시간이 12초에서 3~5초로 압축되었다.

컴퓨팅 시간이 절반 이상 감소했다. 필요한 서버 클러스터 규모는 75% 축소되었다. RTX PRO 6000의 시간당 카드 임대료가 L4보다 높았지만, 생성 속도는 4배 빠르고 총 카드 수는 3/4 수준이었기 때문에 이미지당 추론 비용은 실제로 L4보다 낮아졌다.

비결은 양자화(quantization)에 있었다. H100 아키텍처는 네이티브 FP4 정밀도를 지원하지 않으며, FP8이 최소한이다. 반면 RTX PRO 6000은 네이티브 FP4를 지원하여 모델 정확도 손실 없이 메모리 요구 사항을 또 다른 50% 절감시켰다. 순수 추론 워크로드에서 RTX PRO 6000의 처리량은 H100의 1.63배에 달하면서도 비용은 14% 저렴하다.

한 아시아태평양 지역 감정 동반자 앱은 A100 위에서 멀티모달 대화를 실행하며 동일한 '더 많은 볼륨, 더 많은 손실'의 함정에 빠져 있었다. Akamai의 RTX PRO 6000과 FP4 양자화로 전환한 후 총 비용은 60% 급감하며 사업을 흑자로 전환시켰다.

컴퓨팅 외에도 Akamai는 트래픽 비용을 GB당 0.005달러로 낮췄는데, 이는 전통적인 엔터프라이즈 클라우드의 20분의 1 미만이다. Akamai가 전 세계에 구축한 19개의 GPU 데이터 센터와 4,400개 이상의 엣지 노드와 결합되어, 인터넷 사용자의 95%가 10밀리초 이내에 응답을 받으며, 빛의 속도 제한으로 인한 GPU 유휴 문제를 완전히 해결했다.

방대한 레거시 시스템을 보유한 기업의 경우, 완전 마이그레이션은 보통 높은 테스트 비용과 다운타임 위험을 수반한다. 이 수출 앱은 우아한 하이브리드 멀티클라우드 브리지 아키텍처를 채택했다: 데이터베이스와 핵심 애플리케이션은 기존 클라우드에 그대로 유지하고, 가장 비용이 많이 드는 AI 추론 계층만 Akamai로 마이그레이션했다.

오픈소스 MultiQueue 스케줄러를 배포함으로써 중앙 작업 큐가 전 세계 클러스터 부하를 실시간으로 평가한다. 일반적인 추론 요청은 먼저 고가치 Akamai LKE 클러스터로 라우팅되며, 트래픽 급증 시에만 백업 풀로 탄력적으로 넘겨진다. 핵심 애플리케이션 코드 변경은 전혀 필요하지 않다.

한편 Akamai는 장기적 구속력을 강요하는 엔터프라이즈 모델을 버렸다. 회사와 협력하여 앱의 실제 트래픽 곡선에 맞춘 단계별 탄력적 커밋 옵션을 설계했다.

한국 게임 스튜디오 DevSisters(Cookie Run 개발사)도 동일한 세분화된 회계를 도입했다: 실시간 NPC 대화에는 RTX PRO 6000을, 오프라인 애셋 생성에는 저렴한 RTX 4000 Ada를 사용하여 모든 달러를 효율적으로 사용했다.

Akamai의 '상태 없는 추론(stateless inference)'(플랫폼에 사용자 데이터 저장 안함)와 결합하여 GDPR과 같은 엄격한 글로벌 개인정보 보호 법규를 자연스럽게 충족시켰다. 기업의 전환 우려를 완전히 해소하기 위해 Akamai는 수출 고객에게 최대 5,000달러의 마이그레이션 보조금과 전체 마이그레이션을 위한 전담 아키텍트, 그리고 네이티브 24/7 현지 지원을 제공하여 진정한 무통증 전환을 가능하게 했다.

정적 웹 페이지 배포라는 CDN의 원래 비전에서부터 오늘날의 엣지 보안, 분산 클라우드, AI 추론 인프라에 이르기까지 Akamai의 핵심 논리는 변함없다: 컴퓨팅과 서비스를 사용자와 최대한 가까이 배치하는 것.

대부분의 수출 AI 팀들은 대규모 모델을 훈련하는 데 수억 달러를 쓸 필요가 없다. 그들이 진정으로 필요한 것은: 모델이 연구실을 벗어나면 천문학적인 청구서로 등을 찌르지 않을 안정적이고 초고속인 글로벌 플랫폼이다.

많은 수출 기업들은 제품이 약해서가 아니라 실패한다—수십억 명의 활성 사용자가 이를 증명한다. 진짜 등 뒤를 찌르는 것은 현금 흐름을 피 흘리게 만드는 인프라이다.

특정 컴퓨팅 선택이 타당한지 여부는 여전히 변함없이 적용된다: "신발이 발에 맞는지 아는 것은 오직 발뿐이다."