Red Hat, IBM, Google, Nvidia가 llm-d 1.0을 출시했다. 실제 AI 비용의 대부분은 학습이 아니라 추론에서 발생할 것이라는 판단에 따른 것이다.
지난 3년 동안 AI 논의의 중심은 누가 가장 큰 모델을 만들 수 있는가였습니다. 그러나 이제 돈이 새어 나가는 지점을 묻는 덜 화려한 질문이 있습니다. 그 모델이 하루에 수백만 번 응답하면서도 무너지지 않게 유지하는 데 얼마나 드는가 하는 문제입니다. Red Hat, IBM, Google Cloud, CoreWeave, Nvidia가 시작한 오픈소스 추론 프로젝트 llm-d가 첫 안정 버전을 출시했으며, 그 제안은 바로 이 누수 지점을 겨냥하고 있습니다.
작동 원리는 분명히 짚어 둘 가치가 있습니다. AI 에이전트는 질문 하나를 던지고 떠나지 않습니다. 긴 세션을 계속 유지하고, 같은 문서를 반복해서 읽으며, 예측하기 어려운 버스트 형태로 하드웨어에 부하를 주는 병렬 보조 에이전트를 생성합니다. 이런 패턴에서는 문맥을 처리하는 비용이 답변을 생성하는 비용보다 더 클 수 있습니다. CoreWeave의 AI/ML 엔지니어링 부사장 Shadi Saba는 모델을 대규모로 제공하는 모든 팀이 "출력보다 관리 비용이 더 많이 드는 문맥"에 부딪힌다고 말합니다. llm-d의 해법은 라우팅입니다. 요청을 매번 처음부터 다시 계산하는 대신, 이미 해당 캐시 문맥을 보유한 서버로 요청을 보내는 것입니다.
1.0 버전은 새로운 기법을 도입하기보다는 기존 기법들을 수개월 동안 안전하게 운영할 수 있도록 만드는 데 초점을 둡니다. 이 프로젝트는 이미 vLLM, SGLang 같은 모델 서버 위에서 캐시 인식 라우팅, KV 캐시 오프로딩, 여러 장비에 걸친 prefill 및 decode 단계 분리를 제공하고 있었습니다. 새 릴리스는 우선순위 및 공정성 제어를 추가하여 지연에 민감한 요청과 버스트성 에이전트가 서로를 굶기지 않고 하나의 GPU 플릿을 공유할 수 있게 합니다. 또한 다운타임 없이 업그레이드할 수 있는 고가용성 라우터, 안정적인 v1 설정 API, 다중 턴 대화를 캐시된 상태 가까이에 유지하는 세션 인식 라우팅을 포함합니다.
발표에 실린 성능 수치는 기여자들이 직접 시연한 결과이므로, 검증된 감사 결과가 아니라 주장으로 읽어야 합니다. 한 시연에서 연구진은 약 7,530억 개 매개변수 규모의 오픈 웨이트 모델인 GLM 5.2를 널리 배포된 Nvidia GPU에서 제공했습니다. 최대 3,000개의 동시 코딩 에이전트 환경에서 분당 660만 개 이상의 출력 토큰에 도달했습니다. 연구진은 현재 클라우드 임대 요금 기준으로 이것이 동등한 상용 API 가격보다 토큰당 5배에서 10배 저렴하다고 말합니다. IBM Research는 양자 오류 정정 칩 설계 프로젝트에서 모든 것을 독점 솔루션으로 구성한 환경보다 추론 비용이 11.5배 낮았고, 캐시 적중률은 약 98%였다고 보고합니다.
더 시사하는 바는 이미 이 기술에 의존하는 기업들이 있다는 점입니다. JetBrains는 llm-d가 무료 코딩 에이전트 요금제 Junie Lite 트래픽의 상당 부분을 처리한다고 밝혔습니다. DigitalOcean은 서버리스 추론을 llm-d 위에서 운영하고 있으며, Mistral과 Roblox는 이 프로젝트를 기반으로 서빙 계층을 구축했다고 설명합니다. Google Cloud는 TPU와 Nvidia GPU 제품군 전반에 걸쳐 1.0 버전을 Google Kubernetes Engine에 통합하고 있으며, AMD는 Instinct 가속기에 이를 적용하고 있습니다.
2025년에 설립되고 현재 Cloud Native Computing Foundation의 거버넌스 아래 있는 llm-d에는 25개 이상의 조직에서 500명이 넘는 기여자가 참여하고 있습니다. 1.0 버전은 2026년 10월 20일 산호세에서 발표되었으며, 현재 오픈소스 소프트웨어로 바로 이용할 수 있습니다.
결과적으로 레버리지의 방향이 바뀌고 있습니다. AI에서 비싼 부분이 학습이 아니라 서빙이라면, 서빙 계층을 통제하는 쪽이 청구서를 통제하게 됩니다. llm-d는 이 계층을 단일 벤더의 API 안에 가두지 않고 공유되고 개방된 상태로 유지하려는 시도입니다.