Nvidia가 Dynamo 출시, AI 인프라 워크로드 특화 설계 운영 체제

엔비디아는 이번 주 GPU 기술 컨퍼런스(GTC)에서 오픈 소스 추론 스위트인 '다이나모(Dynamo)'를 발표했으며, 제슨 황(Jensen Huang) CEO는 이를 "AI 공장의 운영 체제"라고 묘사했습니다. 산업 혁명을 촉발한 역사적인 다이나모(발전기)와 비교하며 황 CEO는 이 비유를 설명했습니다. "다이나모는 마지막 산업 혁명을 시작한 첫 번째 도구였습니다. 에너지의 산업 혁명 — 물이 들어가고 전기가 나옵니다." 이 프레임워크는 TensorRT LLM, SGLang, vLLM과 같은 추론 엔진을 최적화하여 대량의 GPU 위에서 가능한 한 빠르고 효율적으로 실행되도록 설계되었습니다.

LLM 출력 성능은 프리필(prefill)과 디코드(decode) 두 가지 범주로 나뉩니다. 프리필은 GPU의 부동소수점 행렬 연산 가속기가 입력 프롬프트를 처리하는 속도에 의해 결정되며, 프롬프트가 길어질수록 이에 상응하는 시간이 더 소요됩니다. 디코드는 사용자가 입력한 프롬프트에 응답하여 GPU가 토큰을 생성하는 속도를 나타냅니다. 메모리 대역폭은 디코드 성능에 매우 중요한데, 메모리 대역폭이 8TB/s인 GPU는 3.35TB/s인 GPU보다 토큰 생성 속도가 두 배 이상 빠릅니다. 더 큰 모델을 더 많은 사용자에게 제공하고 입력 및 출력 시퀀스가 길어질수록 과제는 더욱 복잡해지는데, 대형 모델은 일반적으로 여러 GPU에 분산되어 배치되어 성능과 처리량에 상당한 영향을 미치기 때문입니다.

분배 방식은 시스템을 황 CEO가 설명한 성능 곡선 상의 어디에 위치시킬지를 결정합니다. 황 CEO는 다음과 같이 설명했습니다. "파레토 프론티어(Pareto frontier) 아래에는 데이터센터를 구성하여 수행할 수 있었던 수백만 개의 지점이 있습니다. 우리는 작업을 병렬화하고 분할하며 다양한 방식으로 샤딩(sharding)할 수 있었습니다." 하나의 구성은 초당 10개의 토큰이라는 낮은 속도라도 수백만 명의 동시 사용자를 서비스할 수 있는 반면, 다른 구성은 수천 건의 동시 요청만 처리하지만 수백 개의 토큰을 빠르게 생성합니다. 개별 성능과 최대 처리량 사이의 최적 균형을 찾는 것은 다이나모가 제공하는 핵심 기능 중 하나입니다.

다이나모에는 수요에 따라 프리필과 디코드에 전용으로 할당해야 하는 가속기의 수를 결정하고, 이러한 작업을 서로 다른 가속기로 분리하는 GPU 플래너가 포함되어 있습니다. 이 프레임워크는 키-값 캐시(Key-Value Cache) 히트를 극대화하기 위해 겹치는 요청을 특정 GPU 그룹으로 라우팅하는 프롬프트 라우팅 기능을 갖추고 있으며, GPU 간 데이터 흐름을 위한 저지연 통신 라이브러리와 HBM, 시스템 메모리, 콜드 스토리지(Cold Storage) 간 KV 캐시 데이터를 이동시켜 반응성을 극대화하는 메모리 관리 서브시스템도 제공합니다. 호퍼(Hopper) 기반 시스템에서 래마(Llama) 모델을 실행할 때 엔비디아는 다이나모가 추론 성능을 효과적으로 두 배로 높인다고 주장하며, 더 큰 블랙웰(BLACKWELL) NVL72 시스템의 경우 프레임워크 활성화 시 호퍼 대비 딥씽크-R1(DeepSeek-R1)에서 30배의 우위를 점한다고 밝혔습니다.

엔비디아의 하드웨어 및 소프트웨어 스택에 최적화되어 있지만, 다이나모는 vLLM, PyTorch, SGLang 등 널리 사용되는 서빙 라이브러리와의 통합을 목표로 하여 AMD 또는 Intel 가속기를 사용하는 이종 컴퓨팅 환경의 사용자들도 기존 추론 엔진을 계속 사용할 수 있도록 합니다. 이 프레임워크는 앰페어(Ampere) 세대부터 모든 엔비디아 GPU에서 실행 가능하므로 여전히 A100을 운영하는 사용자들도 새로운 소프트웨어의 혜택을 받을 수 있습니다. 엔비디아는 GitHub에 다이나모 설치 지침을 공개했으며 컨테이너 이미지로도 제공할 예정입니다.