VDURA V12는 하이퍼스케일 GPU 집약적 워크로드용으로 설계된 엔터프라이즈 스토리지 아키텍처를 제공하며, 가속기의 완전한 활용을 유지하는 과제를 해결합니다.
클라우드 운영사들은 GPU에 막대한 투자를 하고 있으며, 이를 생산적으로 활용해야 합니다. 저장소는 이 방정식에서 중요한 역할을 합니다. 특히 저장소 시스템이 GPU와 데이터를 주고받는 속도가 중요합니다. 일부 AI 클러스터에서는 저장소가 이미 병목이 되었습니다.
하이퍼스케일러들은 수년 동안 유사한 저장소 문제를 다루어 왔습니다. VDURA는 이제 V12를 통해 이러한 입증된 접근 방식을 AI 인프라에 가져오고자 하며, V12는 현재 일반 공급 중이며 Supermicro 하드웨어에서 검증되었습니다.
V12의 핵심 측면은 고가의 플래시 저장소를 더 효율적으로 사용하는 것입니다. 활성 학습 데이터 세트와 핫 데이터는 NVMe 성능이 필요할 수 있지만, 이전 체크포인트와 아카이브된 데이터 세트는 일반적으로 필요하지 않습니다. VDURA는 운영사가 데이터를 여러 저장소 시스템에 분산하지 않고도 두 계층을 모두 사용할 수 있게 합니다.
VDURA는 이를 컨텍스트 인식 티어링이라고 부릅니다. 이것은 플래시와 하드 드라이브 간에 데이터를 이동합니다. 핫 데이터는 플래시에 유지되고, 콜드 데이터는 디스크로 이동합니다. 사용자 입장에서는 단일 저장소 풀을 봅니다. 즉, 기업은 전체 시스템에 걸쳐 플래시 비용을 지불하지 않습니다.
V12의 멀티테넌트 기능은 명확히 클라우드 운영사를 겨냥합니다. VDURA의 고객은 인프라를 공유하지만 성능과 보안 요구 사항이 다릅니다. V12를 통해 운영사는 별도의 네임스페이스, 서비스 품질(QOS) 정책, 암호화 키 및 네트워크 제어를 통해 테넌트를 격리할 수 있습니다.
V12는 Kubernetes CSI 지원, REST API 및 코드형 인프라 도구를 추가하여 운영사에게 저장소 관리의 다양한 방법을 제공합니다. 중요하게도, 이러한 기능은 운영사가 GPU 관리에 이미 사용 중인 도구와 통합되어 별도 운영 워크플로우가 필요 없게 만듭니다.
추론은 또 다른 문제를 야기합니다. Kubernetes 파드는 정지, 재시작, 크래시 또는 교체될 수 있습니다. 이러한 시나리오에서 KV 캐시는 어떻게 됩니까? V12는 KVCache Writeback으로 이를 해결하는데, 파드 변경 중 캐시를 보존하고 나중에 복원할 수 있게 합니다. 즉, 모델은 처음부터 컨텍스트를 다시 빌드할 필요가 없어 첫 토큰까지의 시간을 단축하고 GPU 워크로드를 줄입니다. 실제 이점은 특정 워크로드에 따라 달라질 것입니다.
Supermicro의 검증은 고객에게 V12와 호환되는 검증된 하드웨어 구성을 제공합니다. V12는 AMD EPYC 프로세서, NVMe 저장소 및 하이브리드 용량 구성이 있는 Supermicro Building Block 시스템에서 실행됩니다. 이 아키텍처는 소수의 GPU에서 100,000개의 GPU까지 확장되며, 저장소 노드는 RDMA를 통해 GPU 서버와 통신하여 별도의 백엔드 네트워크 없이 데이터 이동을 빠르게 유지합니다.
약 20 PB 수준에서 플래시와 용량 저장소 간의 균형이 중요해집니다. VDURA는 유연성을 제공합니다. 고객은 대부분의 시스템을 저렴한 용량 저장소에 유지하거나, 올-플래시로 구성하거나, 워크로드에 따라 그 사이의 구성을 선택할 수 있습니다.
VDURA는 와트당 성능이 두 배 이상이며 유사한 데이터 피드 레이트에서 경쟁 시스템보다 전체 소유 비용이 60% 이상 낮다고 주장합니다. 이는 회사의 자체 수치이며, 실제 절감액은 워크로드와 구성에 따라 달라질 것입니다.
CEO Ken Claffey는 V12를 운영사의 지속적인 요청에 대한 대응으로 표현했습니다: GPU를 계속 가동하고, 테넌트를 격리하고, 저장소 관리를 자동화하고, 두 번째 시스템을 배포하지 않고도 용량을 추가합니다. 그는 V12를 하이퍼스케일러가 내부적으로 사용하는 혼합 플릿 및 소프트웨어 정의 접근 방식의 패키징된 버전으로 설명했습니다.
더 광범위한 추세는 저장소 평가 방식의 변화입니다. 독립 실행형 제품으로서보다는 GPU 클러스터 경제에 미치는 영향을 중심으로 평가됩니다. 클라우드 운영사의 목표는 단순히 더 많은 용량을 갖는 것이 아닙니다. 고가의 가속기를 완전히 활용하면서도 비용이 많이 드는 저장소 계층을 구축하지 않는 것입니다. V12는 두 가지 목표를 모두 달성하려는 VDURA의 시도입니다. 향후 분기의 고객 배포가 성공 여부를 입증할 것입니다.