Versity는 테이프 라이브러리가 GPU 기반 AI 워크로드용 비용 효율적 데이터 소스로 기능하며 콜드 스토리지 티어링을 구현할 수 있음을 입증합니다.

Versity는 ScoutAM 아카이브 게이트웨이 소프트웨어에 고속 S3 over RDMA 기능을 추가하여, 테이프 아카이브가 GPU의 고대역폭 메모리로 데이터를 직접 전송할 수 있도록 했습니다. 오픈소스인 Versity 게이트웨이는 NVIDIA의 cuObject 프레임워크를 통해 S3 over RDMA(Remote Direct Memory Access)를 지원하며, 이는 아카이브의 S3 게이트웨이와 S3 클라이언트 간 데이터 전송을 가속화합니다. 이 빠른 프론트엔드 뒤에는 Scale Out Archive Manager(ScoutAM)가 위치하여 테이프 라이브러리를 관리하고, 대량으로 데이터를 테이프에 기록하고 다시 읽어옵니다. 그 결과, 프론트엔드에서는 풀 스피드 RDMA를, 백엔드에서는 테이프 아카이브의 용량과 내구성을 결합한 GPUDirect Tape Gateway가 탄생했습니다.

Versity의 CEO이자 공동 창립자인 Bruce Gilpin은 테이프 인프라에 대한 사고방식의 전환을 다음과 같이 설명합니다. "NVMe와 메모리 비용이 급등하고, 2U 서버가 몇 달 동안 품귀 상태에 처하면서, 사람들은 비전통적이고 제약 없는 저장 시스템을 활용하여 AI 인프라를 구축하는 데 절박함을 느끼고 있습니다. 테이프는 과거에 자금 제약이 없던 기업들이 주로 사용했기 때문에 AI 분야에서 크게 활용되지 않았습니다. 하지만 예산 문제뿐만 아니라 가용성 문제로 인해 상황이 변하고 있습니다. 테이프 드라이브는 사람들이 생각하는 것보다 더 빠르게 데이터를 스트리밍하며 병렬로 실행할 수 있습니다. 50대의 드라이브가 GPU에 공급하기 위해 초당 20GB의 스트림을 생성할 수 있으며, 이는 매우 저렴합니다. 한 대형 기업이 실험 중이며 다른 기업들도 따라올 것으로 생각합니다. 우리에게 운이 좋은 점은 이를 오케스트레이션하기 위해 매우 능숙한 소프트웨어 스택이 필요하지만, 기본 저장 시스템은 저렴한 테이프와 비교적 저렴한 드라이브 및 라이브러리로 구성될 뿐이라는 것입니다."

Versity 게이트웨이는 무상태(stateless)이고 모듈화된 오픈소스 S3 게이트웨이로, 표준 AWS S3 명령어를 POSIX 파일시스템, ScoutFS/ScoutAM(테이프 지원), 클라우드 스토리지 등 다양한 백엔드 저장 시스템에 대한 작업으로 변환합니다. 새로운 아키텍처는 게이트웨이의 기존 TCP 제어 경로 옆에 RDMA 기반 데이터 경로를 추가했습니다. 이 시스템은 여러 GPU 또는 호스트 클라이언트 시스템을 게이트웨이 서버 인스턴스들에 분산 배치하여 확장성을 제공하며, 각 쌍은 클라이언트 메모리와 게이트웨이 메모리 간 자체 직접 RDMA 경로를 확립합니다.

RDMA는 데이터를 호스트 CPU를 거치지 않고 한 시스템의 메모리에서 다른 시스템의 메모리로 직접 이동할 수 있게 합니다. NVIDIA의 cuObject 프레임워크는 GPUDirect Storage 생태계의 일부로, 이를 S3 호환 객체 스토리지에 적용하여 InfiniBand나 RoCE와 같은 RDMA 트랜스포트를 사용하여 애플리케이션이 GPU 또는 시스템 메모리와 객체 스토리지 서비스 간에 데이터를 직접 이동할 수 있는 방법을 제공합니다. cuObject 아키텍처는 S3 요청을 두 개의 별도 채널로 분리합니다. 세션 설정, 인증, 버킷 검증 및 객체 메타데이터 흐름은 표준 S3 API를 통해 인밴드(in-band)로 처리되는 반면, 실제 객체 데이터는 S3 세션과 병렬로 실행되는 RDMA 연결을 통해 아웃오브밴드(out-of-band)로 이동합니다. RDMA 데이터 채널은 클라이언트의 CPU를 통과하지 않으며 S3 프로토콜 스택도 통과하지 않아, 프로토콜이 전송에 추가할 수 있는 오버헤드를 피합니다.

특히 GPU 관련 워크로드의 경우, 데이터는 네트워크 카드와 GPU 메모리 간을 직접 이동하며 CPU를 거의 우회합니다. GPU, CPU, NIC로 구성된 GPU 호스트 시스템은 RDMA(RoCE/IB)를 통해 Versity Gateway 서버 시스템의 NIC 및 게이트웨이 메모리에 직접 연결되며, 백엔드 스토리지는 게이트웨이의 일반 경로를 통해 접근됩니다. PUT 요청의 경우, 객체는 RDMA를 통해 게이트웨이 메모리로 업로드된 후 게이트웨이가 이를 백엔드 스토리지로 스트리밍합니다. GET 요청의 경우, 데이터는 먼저 백엔드 스토리지에서 게이트웨이 메모리로 스테이징된 후 RDMA를 통해 클라이언트로 전송되어, 클라이언트가 게이트웨이가 지원하는 모든 백엔드에 RDMA로 접근할 수 있게 합니다.

ScoutAM의 GPUDirect Tape Gateway는 데이터셋이 커짐에 따라 더욱 시급해진 문제를 해결합니다. 즉, GPU 기반 파이프라인의 성능 저하 요인이 되지 않으면서도 비용 효율적이고 내구성 있는 미디어로 방대한 양의 데이터를 다루는 방법입니다. 데이터를 테이프에 아카이빙하는 것은 꾸준하고 지속적인 수집 프로세스로 남을 것이지만, RDMA는 검색 측면에서의 균형을 바꿉니다. AI 학습 파이프라인은 데이터셋을 한 번만 읽지 않습니다. 모델을 재학습하거나 데이터셋을 다시 처리해야 할 때마다 반복해서 읽습니다. ScoutAM은 큰 데이터셋 요청을 최적의 테이프 오프셋 위치에 맞게 재배열하여 테이프 마운트를 최소화하고 스트리밍 데이터 성능을 극대화합니다. 새로운 RDMA 전송 기능을 GPU와 결합함으로써, 모델 학습 및 기타 대규모 데이터 처리 파이프라인을 위해 테이프에서 막대한 데이터셋을 호출하는 것이 가능해졌습니다.

AI 학습 파이프라인, 대규모 머신러닝 작업 또는 HPC 애플리케이션을 운영하는 조직들은 종종 컴퓨팅 레이어가 아닌 스토리지 레이어가 병목 현상임을 발견합니다. 성능 향상이 읽기 측면에서 가장 두드러지기 때문에, 가장 즉시 혜택을 받는 워크로드는 반복적이고 대규모의 읽기 작업으로 정의된 것들입니다. 여기에는 GPU 메모리로 훈련 데이터를 로드하고 다시 로드하며, 체크포인트를 재개된 학습 실행에 다시 공급하고, 새로운 분석을 위해 기존 데이터셋을 다시 읽는 작업이 포함됩니다. 테이프의 경우, 이는 냉각(Cold)되고 느린 스토리지로 취급하기보다는 활성 아카이브에 유지하는 것이 실용적인 범위를 변화시킵니다. 이전에 효율적으로 호출하기에는 너무 느려 보였던 훈련 데이터셋, 체크포인트, 시뮬레이션 출력물도 필요할 때 RDMA 속도로 다시 가져올 수 있게 되었습니다. 유전체학, 미디어 및 엔터테인먼트, 과학 연구, 대규모 AI 개발 분야에 종사하는 조직들은 모두 페타바이트 단위의 데이터 볼륨을 일반적으로 생성하므로, 장기 보관 및 다시 꺼내오는 경로 모두에서 더 빠른 경로를 얻게 됩니다.

데이터는 여전히 표준 S3 객체로서 도착하고 검색되며, POSIX 파일시스템과 ScoutFS는 이전처럼 작동하고 ScoutAM은 항상 그랬듯이 테이프를 관리합니다. Versity 게이트웨이는 오픈소스이며 RDMA 지원을 별도의 유료 애드온이 아닌 동일한 프로젝트의 일부로 포함하고 있으므로, 팀들은 새로운 독점 게이트웨이나 라이선스를 채택하지 않고도 기존 S3 워크플로우에 이 기능을 추가할 수 있습니다.

2024년 말 발표된 MinIO의 AIStor 역시 빠른 S3를 지원합니다. MinIO는 Enterprise Object Store 소프트웨어에 S3 API, PromptObject, 그리고 S3 over RDMA 지원을 확장하여 AI 학습 및 추론을 위한 고속 객체 스토리지를 제공했습니다. MinIO에 따르면, AIStor는 제로 복사(zero-copy) 및 커널 바이패스(kernel-bypass) 방식을 통해 CPU와 시스템 메모리를 완전히 우회하여 RDMA를 통해 데이터를 직접 GPU 메모리로 이동시킵니다. 그러나 AIStor는 유료이고 독점적인 제품인 반면, Versity의 오픈소스 GPUDirect Tape Gateway는 별도의 유료 티어 없이 RDMA 및 cuObject 지원이 포함된 채로 Versity S3 Gateway의 일부로 제공됩니다.

6월, BeeGFS 병렬 파일시스템 공급업체 ThinkParQ와 테이프 아카이브 공급업체 GRAU DATA는 전략적 파트너십을 맺었으며, 이를 통해 후자의 XtreemStor 테이프 아카이브 시스템이 BeeGFS에 통합되었습니다. 두 회사는 이 통합이 데이터 집약적인 AI, HPC, 빅데이터 워크로드의 높은 성능 요구사항을 처리하고 이러한 애플리케이션에 의해 필요로 되고 생성되는 데이터의 장기 저장을 가능하게 하는 스토리지 인프라를 제공한다고 밝혔습니다.