llm-d 1.0이 출시되었으며, 대규모 프로덕션 AI 추론을 더 쉽게 만드는 것을 목표로 합니다.

llm-d 프로젝트의 기여자들이 프로덕션 환경에서 대규모 언어 모델 추론을 지원하도록 설계된 소프트웨어 llm-d 1.0을 공개했습니다.

이번 릴리스는 Red Hat, IBM, Google Cloud, CoreWeave, NVIDIA가 설립하고 현재 Cloud Native Computing Foundation(CNCF)이 관리하는 이 오픈소스 프로젝트에 있어 중요한 이정표입니다. 후원사들은 이번 신규 버전이 인프라 사용과 운영 복잡성을 통제하면서 AI 워크로드를 대규모로 실행해야 하는 조직을 겨냥한다고 밝혔습니다.

llm-d는 분산 추론에 중점을 둡니다. 분산 추론은 훈련이 끝난 뒤 모델을 사용자와 애플리케이션에 제공하는 AI 배포의 한 영역입니다. 이 소프트웨어는 최신 인프라 환경을 위해 만들어졌으며, vLLM과 SGLang을 비롯한 여러 모델 서버를 지원합니다.

1.0 버전에는 멀티테넌트 서비스 품질(QoS), 무중단 운영, 안정적인 구성 API, 그리고 프로젝트가 에이전트 인식 서빙(agent-aware serving)이라고 부르는 기능이 추가되었습니다. 이러한 추가 기능은 지연에 민감한 사용자 요청과 예측하기 어려운 에이전트 기반 작업 등 서로 다른 워크로드를 동시에 처리하는 시스템 집합을 운영자가 관리하는 데 도움을 주기 위한 것입니다.

AI 운영자들에게 핵심 과제는 에이전트형 워크로드의 자원 수요가 늘어나고 있다는 점입니다. 이러한 워크로드에서는 시스템이 여러 차례의 턴과 병렬 작업에 걸쳐 문맥을 반복적으로 접근하고 재사용합니다. 이런 환경에서는 문맥 관리에 드는 자원이 최종 출력을 생성하는 데 드는 자원보다 많을 수 있어, 지연 시간, 처리량, 메모리 사용량, 비용에 대한 부담이 커집니다.

이 소프트웨어에는 이미 프리픽스 캐시 및 부하 인식 라우팅, KV 캐시 오프로딩, 프리필과 디코드 분리, 전문가 병렬 처리, 배치 및 비동기 추론 기능이 포함되어 있습니다. 1.0 버전은 업그레이드 및 유지보수 중의 트래픽 관리를 포함한 일상적인 프로덕션 운영을 위한 더 안정적인 기반으로 자리매김하고 있습니다.

**생태계 채택 현황**

현재 이 프로젝트에는 25개 이상의 조직에서 참여한 500명 이상의 기여자가 있으며, 여기에는 모델 개발자, 클라우드 제공업체, 인프라 벤더, 그리고 분산 추론 시스템을 운영하는 기업들이 포함됩니다.

출시와 함께 공개된 사례들은 지지자들이 이 소프트웨어가 제공할 수 있다고 믿는 비용 및 처리량 개선 효과를 보여줍니다. 한 사용 사례에서 IBM 리서치는 개방형 프런티어 모델과 llm-d를 활용해 전부 독점 모델로 구성한 환경보다 11.5배 낮은 추론 비용으로 양자 오류 정정 하드웨어를 탐색할 수 있었다고 밝혔습니다. 이때 프리픽스 캐시 적중률은 약 98%였고, 혼합 서빙 비용은 백만 토큰당 약 USD $0.11이었습니다.

또 다른 시연에서 연구진은 llm-d를 사용해 약 7,530억 개 매개변수 규모의 개방형 가중치 모델인 GLM 5.2를 NVIDIA GPU에 배포했습니다. 수백 개의 세션을 병렬로 실행하는 에이전트 벤치마크에서 이 구성은 피크 시점에 분당 660만 개 이상의 출력 토큰을 처리했고, 선점(preemption) 없이 최대 3,000개의 동시 코딩 에이전트에 서비스를 제공했습니다.

프로젝트 기여자들은 현재의 클라우드 임대 요금을 기준으로 할 때, 이 배포가 동등한 상업용 API 가격 대비 토큰당 비용을 5배에서 10배 낮췄을 것이라고 말했습니다. 이들은 가장 큰 절감 효과가 에이전트형 워크로드에서 흔한 입력 중심 트래픽 패턴에서 나타났다고 설명했습니다.

CNCF의 최고기술책임자 Chris Aniszczyk은 이번 릴리스를 클라우드 네이티브 컴퓨팅의 더 넓은 변화의 일부로 설명했습니다. 그는 "AI 추론은 빠르게 핵심 클라우드 네이티브 워크로드가 되고 있습니다. llm-d 1.0은 오픈소스 추론 기능과 대규모 프로덕션 확장에 중요한 요건을 결합함으로써, 조직이 이러한 변화를 대규모로 맞이하고 에이전트형 워크로드의 요구를 충족하도록 돕습니다. 이는 고성능 오픈소스 추론을 운영 측면에서 더 성숙하게 만들고, 클라우드 네이티브 생태계 전반에서 더 쉽게 접근할 수 있도록 하는 중요한 진전입니다."라고 말했습니다.

창립 조직의 후원사 관계자들은 이번 릴리스를 초기 AI 실험 이후 발생하는 운영상의 문제에 대한 대응으로 규정했습니다. 여기에는 공유 GPU 플릿 전반에서 경합하는 트래픽의 균형을 맞추는 일, 소프트웨어 변경 중에도 서비스를 유지하는 일, 기존 하드웨어를 더 효율적으로 활용하는 일이 포함됩니다.

Red Hat의 수석 부사장이자 AI 최고기술책임자인 Brian Stevens는 "조직이 AI 실험 단계를 넘어 본격적인 프로덕션 단계로 이동하면서, 병목은 답변 생성에서 복잡한 에이전트형 워크로드의 경제성, 운영 신뢰성, 극도로 높은 인프라 요구를 관리하는 쪽으로 옮겨가고 있습니다. 이러한 2일차(day-two) 운영 과제를 대규모로 해결하려면 오픈소스 협업이 필수적입니다. llm-d 1.0을 통해 커뮤니티는 기업이 하드웨어 성능을 최적화하고, 운영 비용을 관리하며, 개방형 기반 위에서 고밀도 AI 아키텍처를 구축할 수 있도록 표준화되고 검증된 분산 추론 핵심 기능을 제공하고 있습니다."라고 말했습니다.

**산업계의 지지**

프로젝트를 실제 운영 환경에서 사용하는 클라우드 사업자와 소프트웨어 기업들도 지지에 참여하고 있습니다. DigitalOcean은 서버리스 추론 및 관리형 에이전트 서비스의 분산 추론 소프트웨어로 llm-d에 의존하고 있다고 밝혔고, JetBrains는 이 소프트웨어가 현재 Junie Lite 요금제 뒤에서 프로덕션으로 가동되며 해당 트래픽의 상당 부분을 처리하고 있다고 말했습니다.

일부 사용자는 혼합 인프라에서의 유연성을 강조했습니다. Roblox는 이 프로젝트가 단일 추론 엔진에 묶이지 않으면서, 클라우드와 온프레미스 GPU 전반에 걸친 분리형 서빙과 캐시 인식 라우팅을 위한 Kubernetes 네이티브 기반을 제공한다고 밝혔습니다.

IBM 리서치의 AI 네이티브 시스템 담당 부사장 Priya Nagpurkar는 "IBM에서는 기업 AI의 과제가 더 이상 강력한 모델을 만드는 데 그치지 않고, 이를 대규모로 효율적이고 안정적으로 실행하는 데 있다는 것을 직접 확인하고 있습니다. llm-d 1.0은 분산 추론을 위한 개방형 기반을 만드는 데 있어 중요한 이정표이며, 조직이 AI 인프라에서 더 많은 가치를 얻고 의존하는 AI 기능에 대해 더 큰 통제력을 갖도록 돕습니다. 에이전트형 워크로드가 점점 보편화되면서, llm-d와 같은 개방형 기술은 AI 생태계 전반에서 성능을 개선하고, 비용을 낮추며, 혁신을 가속하는 데 필수적일 것입니다."라고 말했습니다.