Huawei는 초대규모 AI 데이터센터용으로 특별히 설계된 OceanStor KV 캐시 스토리지 아키텍처를 도입하고 있습니다.
화웨이는 차세대 AI 가속기인 Atlas 960 SuperPods를 위한 최대 64 PB의 KV 캐시 기반 계층을 제공하는 스케일아웃 올플래시 스토리지 클러스터인 OceanStor M900을 발표했습니다. 이는 엔비디아의 SuperPOD 설계와 비교되는 랙 규모 AI 가속기입니다.
엔비디아의 AI 데이터 플랫폼 참조 설계는 GPU, BlueField NIC, Spectrum-X 스위치 및 AI 소프트웨어를 GPUDirect, RDMA, Dynamo 소프트웨어 및 CMX 방식을 통한 KV 캐시 확장을 지원하는 스토리지 시스템과 통합합니다. 이 아키텍처는 다중 계층 설계를 채택하고 있습니다: GPU의 고대역폭 메모리(HBM)가 최상위이자 가장 빠른 계층이며, 그 다음으로 관련 x86 서버 DRAM이 2단계, 서버 로컬 SSD가 3단계, 전용 플래시 스토리지 서버에 housed된 인텔리전트 BlueField-4 NIC 연결 NVMe SSD가 3.5단계입니다. L3.5 계층은 GPU HBM으로 단일 네트워크 홉을 가능하게 하여 마이크로초 단위의 지연 시간을 제공합니다.
화웨이는 이제 하이퍼스케일 AI 데이터 센터를 위해 맞춤화된 자체 SuperPods를 통해 엔비디아의 SuperPOD 아키텍처에 도전하고 있습니다. 이러한 시스템은 1조 파라미터 모델을 처리하고 100만 토큰을 초과하는 컨텍스트 윈도우를 지원하도록 설계되었습니다. 이는 단일 가속기의 HBM이 필요한 모든 키-값 토큰을 보유할 수 없음을 의미하며, 강력한 캐싱_scheme가 필요함을 시사합니다.
회사에 따르면, 단일 Atlas 960E SuperPod은 4,096개의 NPU로 확장되어 FP8 컴퓨팅 성능 8 EFLOPS, 최대 1 페타바이트의 HBM 용량 및 256 TB의 통합 메모리 풀을 제공합니다. 화웨이는 UnifiedBus 근패키지 광학(NPO)을 활용하는 5,500개의 Hi-ONE 장치를 배치함으로써, 이전에 모든 NPU를 상호 연결하는 데 필요했던 48,000개의 전통적인 800G 광모듈 대비 전력 소비를 550킬로와트 이상 절감합니다. 이러한 광학 방식은 시스템의 무고장 운영 시간을 두 배로 늘려 99.8%의 시스템 가용성을 달성합니다.
SuperPods는 다중 계층 KV 캐싱 전략을 채택하며, M900은 L3.5 레이어를 위한 페타바이트 규모의 KV 캐시를 공급합니다. 이는 광네트워킹을 통해 클러스터당 최대 4 PB의 공유 L3.5 KV 캐시 용량과 40 TB/sec의 집계 대역폭을 제공하여, NPU당 테라바이트 단위의 KV 캐시 용량을 확보합니다. 화웨이는 일반적인 AI 프로그래밍 시나리오에서 이 아키텍처가 추론 클러스터의 토큰 처리량을 두 배로 늘리고 첫 번째 토큰까지의 시간(TTFT)을 절반으로 줄인다고 주장합니다.
표명된 40 TB/sec의 대역폭은 동급 솔루션 대비 1.5배 향상된 수치이나, 화웨이는 구체적인 경쟁사를 명시하지 않았습니다. 업계 분석에 따르면 이는 일반적으로 DDN, Everpure, IBM Storage Scale, MinIO 및 VAST Data 시스템을 지칭하는 것으로 보이며, 이들은 보통 클러스터 규모 대역폭이 10~25 TB/sec 범위에 해당합니다.
M900은 CPU, 네트워크 컨트롤러 및 NAND 컨트롤러를 단일 유닛으로 통합한 통합 아키텍처를 특징으로 합니다. 이 설계는 SuperPod NPU가 SSD에 직접적으로 단일 홉 연결을 가능하게 하여 접근 지연 시간을 밀리초에서 약 60마이크로초로 줄입니다.
화웨이 이사회 부회장 겸 순회 회장인 David Wang은 "OceanStor M900은 하이브리드 미디어와 최적화된 유지 알고리즘을 사용하여 SSD 읽기/쓰기 수명을 16배 연장합니다. 이는 높은 KV 캐시 히트율을 보장하며, 근본적으로 장기적인 안정성과 신뢰성을 제공합니다."라고 말했습니다.
더 자세히 설명하자면, 화웨이는 M900이 각 KV 캐시 데이터 세그먼트의 예상 수명과 가치를 예측하는 KV 인식 적응형 스토리지 기술을 포함한다고 밝혔습니다. 이러한 예측을 기반으로 시스템은 온칩 메모리, DRAM 및 SSD를 포함한 다양한 미디어 계층 간에 데이터를 예약하고 배치합니다. 이러한 최적화된 배치 및 유지 전략은 SSD가 하루 최대 24회 드라이브 쓰기(DWPD)를 지속할 수 있게 하며, 이는 주목할 만한 수치로 SSD 내구성이 16배 증가했으며 교체 횟수를 크게 줄인 상태로 3년간 안정적인 작동을 지원합니다.
화웨이는 아직 M900에 대한 공식 데이터시트나 기술 배경 자료를 출시하지 않았습니다. 따라서 노드 랙 유닛 치수, 컨트롤러 사양, 드라이브 수 및 용량, 클러스터 노드 수 등 기타 아키텍처 세부 사항은 공개되지 않았습니다.
화웨이의 Ascend 신경처리장치(NPU)는 그래픽 프로세서로 시작된 GPU와 달리 AI 워크로드를 위해 처음부터 설계되었습니다. 이들은 Cube(행렬) 및 Vector 코어를 갖춘 화웨이의 Da Vinci 아키텍처를 활용하며, 대규모 모델 추론 및 훈련을 가속화하기 위해 FP8 및 FP4와 같은 저정밀도 형식을 지원합니다. 화웨이의 UnifiedBus 올옵티컬 인터커넥트를 통해 거대 시스템으로 확장될 때, 수천에서 수십만 개의 NPU가 단일 논리적 머신으로 작동합니다. Ascend 950PR에 의해 구동되는 Atlas 350과 차기 Atlas 960 SuperPods를 포함한 최근 및 예정된 제품들은 중국 시장에서 엔비디아 GPU에 대한 실행 가능한 대안으로 위치해 있습니다.