Supermicro, IBM, NVIDIA 공동 KV 캐시 스토리지 솔루션 출시 발표 (2026년 11월 5일)

샌호세, 캘리포니아주, 2026년 11월 5일: Supermicro, Inc.는 오늘 IBM 및 NVIDIA와 함께 새로운 KV 캐시 스토리지 솔루션을 발표했습니다. 이 공동 솔루션은 AMD EPYC 9005 시리즈 프로세서(Turin)를 탑재한 Supermicro Petascale 올플래시 스토리지 서버, IBM Storage Scale 소프트웨어, NVIDIA Dynamo 추론 프레임워크 소프트웨어, 그리고 Spectrum-X Ethernet 네트워킹을 통합합니다.

이러한 기술들이 결합되면 AI 모델이 응답 생성을 시작하는 데 걸리는 시간을 획기적으로 줄일 수 있으며, 이는 기업들이 에이전틱(agentic) 및 장문맥(long-context) AI 워크플로를 도입하는 상황에서 매우 중요한 경쟁력이 됩니다. 로컬 GPU 메모리 바깥으로 KV 캐시 용량을 확장하면 GPU 활용률과 추론 처리량을 높일 수 있으며, 동시에 KV 캐시 콘텐츠의 고가용성과 KV 캐시 용량의 무중단 확장도 가능해집니다. 그 결과 더 확장성 있고 복원력 높은 추론 아키텍처가 구현되어, 보다 빠르고 반응성이 뛰어난 AI 경험을 제공할 수 있습니다.

Supermicro의 사장 겸 CEO인 Charles Liang은 "AI 워크로드가 학습에서 추론으로 확대되면서, 에이전틱 AI와 장문맥·다중 턴 생성형 AI의 특징인 고처리량 추론 워크로드를 배포하는 기업과 네오클라우드(neocloud)들은 GPU 효율을 높이기 위해 병목을 제거해야 합니다. IBM 및 NVIDIA와 함께한 당사의 솔루션은 이러한 성능 이점을 명확하게 보여줍니다."라고 말했습니다.

추론 워크로드는 프리필(prefill)과 디코드(decode)라는 두 단계로 구성됩니다. 프리필 단계에서는 입력 텍스트가 토큰으로 변환되어 LLM에 의해 처리되고, 추론에 필요한 중간 키-값(KV) 상태가 생성됩니다. 이렇게 미리 계산된 KV 상태를 영구 KV 캐시에 저장하면, 후속 요청에서 동일한 컨텍스트를 다시 계산하지 않고 재사용할 수 있습니다. 에이전틱 워크플로, 코딩 어시스턴트, 장문맥 RAG, 멀티모달 AI, 다중 턴 애플리케이션은 대규모 코드베이스, 문서, 대화, 이미지 및 기타 컨텍스트를 처리하면서 상당한 양의 KV 상태를 생성합니다. 이는 GPU 및 CPU 메모리를 빠르게 초과하며, 따라서 KV 캐시를 대용량 공유 네트워크 스토리지로 오프로드할 필요가 생깁니다.

Supermicro, IBM, NVIDIA의 KV 캐시 솔루션은 이러한 영구 스토리지 계층을 제공하여, 중복 계산을 줄이면서 추론 효율성, 처리량, 확장성을 향상시키는 데 기여합니다.

KV 캐시 솔루션의 주요 고객 이점은 다음과 같습니다.

- **공동 솔루션 검증:** Supermicro, IBM, NVIDIA는 고동시성 및 노이지 네이버(noisy-neighbor) 네트워크 트래픽 시나리오를 포함하여 성능을 측정하기 위한 광범위한 클러스터 수준 테스트를 수행했습니다.

- **획기적으로 빠르고 일관된 추론 성능:** Supermicro와 NVIDIA의 공동 테스트에서, 1,200억 개 파라미터 LLM을 사용하여 130,000 토큰 프롬프트 기준 영구 KV 캐시는 첫 토큰 생성 시간(TTFT)을 최대 56배 단축했습니다. 입력 길이가 30,000 토큰에서 130,000 토큰으로 늘어났을 때, KV 캐시를 사용하면 TTFT가 0.377초만 증가한 반면, 사용하지 않으면 29.55초가 증가하여, 장문맥 워크로드에서 더 일관된 성능을 제공합니다.

- **더 높은 GPU 활용률과 처리량:** 자주 재사용되는 컨텍스트를 GPU 메모리 바깥에서도 사용할 수 있도록 유지함으로써, 이 솔루션은 GPU 유휴 시간을 줄이고 추론 처리량을 높이며, GPU 자원을 비례하여 늘리지 않고도 더 높은 동시성을 지원합니다.

- **기업 수준의 복원력과 신뢰할 수 있는 AI 운영:** 영구적이고 고가용성의 KV 캐시는 캐시된 추론 상태를 보호하는 동시에 GPU 노드와 클러스터 간 공유 접근을 제공하여, 대규모에서 더 복원력 있고 스토리지 효율적인 AI 서비스를 지원합니다.

- **검증된 턴키 AI 인프라:** Supermicro, IBM, NVIDIA는 고동시성 및 노이지 네이버 시나리오 전반에서 통합 아키텍처를 공동으로 검증했으며, NVIDIA Dynamo, IBM Storage Scale 소프트웨어, Supermicro Petascale 서버, NVIDIA Spectrum-X 네트워킹을 결합했습니다.

- **가속화된 배포 서비스:** Supermicro의 공장 랙 통합 및 현장 배포 서비스를 통해 이 솔루션의 배포 기간을 몇 주에서 며칠로 단축할 수 있습니다.

IBM Storage 총괄 매니저인 Sam Werner는 "기업들은 AI 추론을 확장하는 근본적으로 더 나은 방법이 필요합니다. IBM, Supermicro, NVIDIA는 고객이 GPU 투자를 극대화하고, 컴퓨팅과 독립적으로 확장하며, 인프라 효율성을 크게 향상할 수 있도록 돕는 고성능 복원력 KV 캐시 솔루션을 함께 제공하고 있습니다."라고 말했습니다. 그는 이어서 "이번 협력은 기업용 AI 추론을 더 확장 가능하고, 신뢰할 수 있으며, 비용 효율적으로 만드는 데 있어 중요한 한 걸음입니다."라고 덧붙였습니다.

NVIDIA AI 추론 제품 리드인 Shruti Koparkar는 "에이전틱 AI와 장문맥 애플리케이션은 여러 단계에 걸쳐 컨텍스트를 효율적으로 재사용하는 데 의존하며, NVIDIA Dynamo는 분산 추론을 오케스트레이션하여 기업이 모든 GPU에서 더 많은 유효 처리량을 얻도록 돕습니다."라고 말했습니다. 그는 "NVIDIA Dynamo와 Spectrum-X Ethernet을 Supermicro Petascale 스토리지 서버 및 IBM Storage Scale과 결합함으로써, 이 KV 캐시 솔루션은 중복 계산을 줄이고, 첫 토큰 생성 시간을 개선하며, 고객이 복원력 있는 AI 추론 서비스를 확장할 수 있도록 돕는 고성능 공유 스토리지 계층을 만들어 냅니다."라고 덧붙였습니다.

Supermicro 및 IBM 솔루션에 대한 자세한 내용은 여기를 클릭하십시오. IBM Redbook *Context without Limits: A High-Performance KV Cache Platform for Large-Scale AI Inference*를 읽으려면 여기를 클릭하십시오.

**Super Micro Computer, Inc. 소개**

Supermicro(NASDAQ: SMCI)는 애플리케이션 최적화 토탈 IT 솔루션 분야의 글로벌 선도 기업입니다. 캘리포니아주 샌호세에 본사를 두고 운영되는 Supermicro는 엔터프라이즈, 클라우드, AI, 5G 텔코/엣지 IT 인프라 분야에서 업계 최초의 혁신을 제공하는 데 전념하고 있습니다. 당사는 서버, AI, 스토리지, IoT, 스위치 시스템, 소프트웨어 및 지원 서비스를 갖춘 토탈 IT 솔루션 제공업체입니다. Supermicro의 마더보드, 전원, 섀시 설계 전문성은 제품 개발과 생산을 한층 뒷받침하여, 전 세계 고객을 위한 클라우드에서 엣지에 이르는 차세대 혁신을 가능하게 합니다. 당사 제품은 자체적으로 설계 및 제조되며(미국, 대만, 네덜란드), 글로벌 운영을 활용해 규모와 효율성을 확보하고, TCO를 개선하고 환경 영향을 줄이도록 최적화되어 있습니다(그린 컴퓨팅). 수상 경력이 있는 서버 빌딩 블록 솔루션 포트폴리오를 통해 고객은 유연하고 재사용 가능한 빌딩 블록으로 구성된 광범위한 시스템 제품군에서 정확한 워크로드와 애플리케이션에 맞게 최적화할 수 있으며, 이 제품군은 폼 팩터, 프로세서, 메모리, GPU, 스토리지, 네트워킹, 전원 및 냉각 솔루션(공랭식, 자연 공기 냉각, 또는 액체 냉각)을 포괄적으로 지원합니다.