IBM이 프로덕션 규모의 비용 효율적인 서빙을 목표로 하는 오픈소스 AI 추론 스택 llm-d 1.0을 공개했다.

캘리포니아주 산호세, 2026년 10월 20일 – 오늘 llm-d 프로젝트 기여자들은 llm-d 1.0의 출시를 발표했습니다. 이는 최신 인프라 전반에서 대규모 언어 모델 추론을 더 효율적으로 배포하고 확장할 수 있도록 설계된 오픈 소스 프로젝트의 중요한 이정표입니다. llm-d는 2025년 Red Hat, IBM (NYSE: IBM), Google Cloud, CoreWeave, NVIDIA가 설립했으며, 현재는 Cloud Native Computing Foundation(CNCF)이 관리하고 있습니다. 이 프로젝트는 기업이 운영 환경에서 AI를 대규모로 도입하기 위한 개방형 기반에서 핵심적인 역할을 하고 있습니다.

많은 기업이 AI를 실제 운영 환경에 도입하기 위해 경쟁하면서, AI를 대규모로 운영하는 일이 모델 자체를 구축하는 일만큼 어렵고 비용이 많이 든다는 사실을 깨닫고 있습니다. 기업은 사용자에게 반응성이 뛰어난 경험을 제공하고, 에이전트형 워크로드를 지원하며, 점점 희소해지는 컴퓨팅 자원의 활용도를 극대화할 방법이 필요합니다. llm-d 1.0은 지능형 분산 추론 기능을 통해 이러한 과제를 해결하도록 설계되었습니다. 이 기능은 성능을 개선하고 처리량을 높이며, 기업이 AI 서빙의 경제성을 더 잘 통제할 수 있도록 돕습니다.

**혁신을 실제 운영으로**

에이전트형 AI가 부상하면서 새로운 유형의 워크로드가 인프라 시스템에 다른 종류의 부담을 주고 있습니다. 에이전트형 워크로드는 방대한 양의 컨텍스트에 지속적으로 접근하고 이를 재사용하며, 예측하기 어려운 폭발적 활동을 만들어 낼 수 있는 병렬 에이전트를 지원합니다. 이러한 컨텍스트를 관리하는 데 최종 결과물을 생성하는 것보다 더 많은 자원이 드는 경우가 많아, 지연 시간, 처리량, 메모리 효율성, 인프라 비용이 AI 투자 수익률(ROI)을 실현하는 데 결정적인 요소가 됩니다. llm-d는 이미 복잡한 인프라 환경을 위해 하드웨어 이기종성과 고급 추론 기능을 기본으로 제공합니다. 여기에는 접두사 캐시 및 부하 인식 라우팅, KV 캐시 오프로딩, 프리필/디코드 분리, 광범위 전문가 병렬화, 배치 및 비동기 추론이 포함되며, vLLM과 SGLang을 포함한 여러 모델 서버를 지원합니다.

llm-d 1.0은 이러한 성능을 Day 2 운영의 현실, 즉 운영 환경에서 추론을 지속적으로 실행하는 작업에 맞게 제공하도록 설계되었습니다. 여러 테넌트에 대한 서비스 제공, 상충하는 우선순위의 균형 조정, 무중단 기능 제공, 새롭게 등장하는 에이전트형 워크로드 지원이 모두 하나의 공동 설계된 구성 요소 제품군 안에서 플랫폼으로 결합되어 이루어집니다. 1.0에 새로 추가된 기능은 다음과 같습니다.

**멀티 테넌트 서비스 품질** – 우선순위와 공정성을 고려하는 흐름 제어가 지연에 민감한 요청을 우선 처리하며, 폭발적으로 발생하는 에이전트 워크로드가 서로의 자원을 빼앗지 않고 하나의 플리트를 공유할 수 있도록 합니다.

**무중단 운영** – 핫 스탠바이를 갖춘 라우터 고가용성과 롤링 업데이트를 통해 업그레이드나 계획된 유지 보수 중에도 트래픽이 계속 흐릅니다. 프리필/디코드 레플리카를 하나의 논리적 단위로 관리하고, 조율된 롤아웃과 동시 업그레이드를 지원하여 분리된 서빙을 운영 환경에서 실용적으로 만듭니다.

**구축을 위한 안정적인 기반** – v1 구성 API와 여러 클라우드 및 가속기에서 검증된 강화된 요청 경로를 통해 도입 기업은 표준으로 삼을 수 있는 릴리스를 확보할 수 있습니다.

**에이전트 인식 서빙** – 세션 인식 라우팅은 다중 턴 대화를 캐시된 컨텍스트 가까이에 유지하고, 턴 우선순위 스케줄링과 네이티브 Responses API 상태 지원은 에이전트가 턴 사이에서 컨텍스트를 재사용하여 재계산을 줄이도록 돕습니다.

그 결과, 사용자와의 지연에 민감한 상호작용부터 대규모 자율 에이전트 워크플로에 이르기까지 다양한 AI 워크로드를 지원할 수 있는 인프라가 마련되며, 기업은 반응성과 효율성 중에서 하나를 선택하지 않아도 됩니다.

**성장하는 생태계의 모멘텀**

llm-d는 모델 개발자, 클라우드 제공업체, 인프라 벤더, 기업 사용자로 이루어진 성장하는 생태계에서 이미 사용되고 있습니다. 현재 이 프로젝트에는 25개 이상의 조직에서 500명이 넘는 기여자가 참여하여 분산 AI 서빙의 미래를 함께 만들고, AI 인프라 스택 전반에 공통 기반을 구축하는 데 힘쓰고 있습니다.

대규모 분산 추론을 운영하는 조직, 추론 스택을 최적화하는 프런티어 모델 개발자, 멀티 테넌트 AI 엔드포인트를 제공하는 클라우드 제공업체 등 핵심 사용자들은 모두 llm-d를 도입하여 측정 가능한 이점을 확인했습니다.

최근 한 사례에서는 오픈 프런티어 모델과 llm-d를 통해 IBM Research가 전용 독점 구성보다 11.5배 낮은 추론 비용으로 양자 오류 정정 하드웨어를 탐색할 수 있었습니다. [3] 연구진은 접두사 캐시 적중률이 약 98%이고, 혼합 서빙 비용이 백만 토큰당 약 0.11달러라고 보고했습니다.

벤치마크 워크로드를 사용한 또 다른 최근 시연에서 연구진은 llm-d가 에이전트형 워크로드를 위해 대규모 혼합 전문가 모델을 효율적으로 서빙할 수 있음을 보여주었습니다. 연구진은 llm-d를 사용하여 약 7,530억 개의 매개변수를 가진 오픈 웨이트 모델인 GLM 5.2를 널리 사용되는 NVIDIA GPU에 배포했습니다. 이는 기업이 기존 GPU 플리트를 활용하여 프런티어급 AI를 대규모로 서빙할 수 있는 방법을 보여줍니다. 수백 개의 에이전트 세션이 병렬로 실행되는 워크로드에서 이 배포는 에이전트형 벤치마크 기준 최대 부하 시 분당 660만 개 이상의 출력 토큰을 처리했고, 선점 없이 최대 3,000개의 동시 코딩 에이전트를 서빙했습니다. 현재의 클라우드 임대 요금을 기준으로 할 때, 이 배포는 동등한 상용 API 가격에 비해 토큰당 비용이 5~10배 저렴했을 것이며, 에이전트형 워크로드에 전형적인 입력 중심 트래픽 패턴에서 가장 큰 절감 효과를 보였을 것입니다. 이는 llm-d가 대규모 운영 환경에서 AI를 도입하는 기업의 자원과 비용을 절감할 수 있음을 보여줍니다. [4]

llm-d는 CNCF 거버넌스 모델과 폭넓은 업계 참여를 통해 혁신을 가속하는 동시에, 점점 복잡해지는 AI 인프라를 관리할 수 있는 개방형 대안을 기업에 제공하는 것을 목표로 합니다. 앞으로 커뮤니티는 새로운 하드웨어와 모델이 등장함에 따라 이에 계속 적응하고, 새로운 아키텍처 전반에서 최고 성능을 달성하도록 소프트웨어 스택을 발전시켜 나갈 것입니다. 자세한 내용은 IBM과 Red Hat의 발표 블로그를 참고하시기 바랍니다.

**지원 인용문**

Chris Aniszczyk, CNCF CTO

"AI 추론은 빠르게 핵심 클라우드 네이티브 워크로드가 되고 있습니다. llm-d 1.0은 오픈 소스 추론 기능과 대규모 운영 환경이 요구하는 조건을 결합하여, 이후 에이전트형 워크로드의 요구를 충족하도록 돕습니다. 이를 통해 조직은 이러한 전환을 대규모로 맞이할 수 있습니다. 고성능 오픈 소스 추론을 운영 측면에서 더 성숙하게 만들고, 클라우드 네이티브 생태계 전반에서 더 쉽게 접근할 수 있도록 하는 데 있어 중요한 한 걸음입니다."

Brian Stevens, Red Hat 수석 부사장 겸 AI 최고기술책임자

"조직이 AI 실험을 넘어 본격적인 운영 단계로 나아가면서, 병목은 답변을 생성하는 일에서 복잡한 에이전트형 워크로드의 경제성, 운영 안정성, 극한의 인프라 요구를 관리하는 일로 옮겨 가고 있습니다. 이러한 Day 2 운영 과제를 대규모로 해결하려면 오픈 소스 협력이 필수적입니다. llm-d 1.0을 통해 커뮤니티는 분산 추론을 위한 표준화되고 강화된 핵심 기반을 제공하고 있습니다. 이는 기업이 하드웨어 성능을 최적화하고, 운영 비용을 줄이며, 개방형 기반 위에서 고밀도 AI 아키텍처를 구축할 수 있도록 힘을 실어 줍니다."

Priya Nagpurkar, IBM Research AI 네이티브 시스템 부사장

"IBM에서 우리는 기업 AI의 과제가 더 이상 강력한 모델을 만드는 데 있지 않고, 이를 대규모로 효율적이고 안정적으로 운영하는 데 있다는 사실을 직접 확인하고 있습니다. llm-d 1.0은 분산 추론을 위한 개방형 기반을 만드는 데 있어 중요한 이정표입니다. 이를 통해 조직은 AI 인프라에서 더 많은 가치를 얻고, 의존하는 AI 기능을 더 잘 통제할 수 있습니다. 에이전트형 워크로드가 더 보편화되면서, llm-d와 같은 개방형 기술은 AI 생태계 전반에서 성능을 개선하고, 비용을 낮추고, 혁신을 가속하는 데 필수적일 것입니다."

Mark Lohmeyer, Google Cloud AI 및 컴퓨팅 인프라 담당 VP & GM

"에이전트형 AI는 다양한 사용 사례에서 기업과 소비자에게 엄청난 가치를 열어 주고 있습니다. 하지만 이러한 워크로드가 운영 환경에서 빠르게 확장되면서, 인프라에 고유한 요구를 부과하고 고객이 필요로 하는 성능, 안정성, 비용 효율성을 제공하기 위한 새로운 접근법을 요구합니다. llm-d 1.0의 출시는 업계가 이러한 요구를 해결하는 데 있어 중요한 이정표입니다. llm-d의 창립 기여자인 Google Cloud는 llm-d 1.0을 Google Kubernetes Engine에 통합하고, Google TPU 및 NVIDIA GPU 포트폴리오 전반에서 이를 지원하고 있습니다. 이를 통해 고객은 멀티 테넌트 환경을 확장하고, 추론 성능을 최적화하며, 강화된 오픈 소스 기반 위에서 전체 서빙 비용을 크게 낮출 수 있습니다."

Shadi Saba, CoreWeave AI/ML 엔지니어링 부사장

"대규모로 추론을 실행하는 모든 팀은 같은 문제에 부딪힙니다. 컨텍스트를 관리하는 비용이 출력보다 더 많이 드는 경우, 같은 플리트를 두고 경쟁하는 테넌트들, 트래픽을 중단시킬 수 없는 업그레이드 문제입니다. llm-d 1.0은 커뮤니티에 이러한 문제를 각각 따로 해결하는 대신 한 번에 해결할 수 있는 강화되고 개방된 기반을 제공합니다. CoreWeave는 이 프로젝트를 설립하는 데 도움을 주었으며, 고객은 CoreWeave Kubernetes Service에서 N [source text truncated here]