Huawei의 Unified Bus를 통해 스토리지도 GPU 클러스터의 동서 방향 트래픽에 참여할 수 있게 됐다.
화웨이는 자사의 UnifiedBus(UB) 상호연결 아키텍처를 공개했습니다. 이 아키텍처는 클러스터와 SuperPoD를 연결하며, 여기에는 화웨이가 고도로 병렬화된 GPU 유사 가속기를 가리키는 용어로 쓰는 NPU(신경망 처리 장치)가 포함됩니다. 또한 KV 캐시 스토리지에 대한 접근을 가능하게 합니다.
회사는 상호연결 병목이 AI 워크로드 처리를 제한하고 있다고 말합니다. 클러스터 규모가 커질수록 연산 활용률은 떨어집니다. 10만 개 NPU 클러스터의 연산 능력 중 모델이 실제로 사용하는 비율은 20퍼센트에 불과할 수 있으며, 데이터 통신 중에는 많은 연산 자원이 유휴 상태로 남습니다. 학습을 위해 방대한 중간 데이터가 필요한 10조 파라미터 모델은 기존 아키텍처에서 단일 가속기의 메모리 용량을 크게 초과합니다.
AI 에이전트와 모델 간 상호작용에는 CPU와 NPU 자원이 동적으로 달라지는 양만큼 필요합니다. 화웨이는 이렇게 말합니다. "이들 프로세서 사이의 상호작용으로 생성되는 KV 캐시 역시 메모리 용량을 훨씬 초과하며, 이는 컴퓨팅 시스템 전반과 여러 계층에 걸쳐 데이터 스토리지 수요를 끌어올리고 있습니다. 결국 클러스터 내부 구성 요소 간 상호연결과 통신이 컴퓨팅 시스템의 핵심 성능 병목으로 떠올랐습니다."
화웨이는 처리 클러스터 간의 초고속 동서(east-west) 연결을 저속 남북(north-south) 네트워크와 단절된 상태로 두는 방식 대신, UnifiedBus가 두 방식의 요소를 함께 갖추도록 설계했습니다.
UnifiedBus 기반 컴퓨팅 시스템에는 네 가지 주요 특징이 있습니다.
- **통합 프로토콜 및 메모리 시맨틱:** 10개 이상의 상호연결 프로토콜이 UnifiedBus 프로토콜로 통합되었습니다. 이를 통해 상호연결 대역폭이 100 GB/s 수준에서 TB/s 수준으로 증가하고, 왕복 지연 시간(RTT)은 7마이크로초에서 2마이크로초로 줄어듭니다. 또한 이 프로토콜은 SuperPoD 내부에서 통합 전역 메모리 주소 지정을 가능하게 합니다.
- **이기종 컴퓨팅 협업:** UnifiedBus는 CPU, NPU, 메모리, SSD를 직접 연결하여 이들 사이의 분산형 피어 투 피어 접근과 유연한 CPU-NPU 혼합 구성을 가능하게 합니다. 아울러 Transformer를 위한 계층형 하드웨어 가속은 어텐션-FFN 분리(AFD)를 지원합니다.
- **글로벌 풀링을 갖춘 계층형 스토리지:** UnifiedBus는 하이브리드 미디어 자원 풀링을 사용해 활성화 값의 캐싱을 지원합니다. 더블 데이터 레이트(DDR) 메모리는 NPU의 대체 메모리로 쓰여 검색, 추천, 광고 서비스의 지연 시간을 줄이고, 수천 차원을 가진 1,000억 단위 데이터 항목에 대한 벡터 검색 성능을 두 배로 높입니다. 또한 10조 파라미터 모델 학습에 필요한 NPU당 HBM 용량을 줄이고, 클러스터의 모델 FLOPs 활용률(MFU)을 개선합니다.
- **광전자 상호연결과 유연한 네트워킹:** UnifiedBus는 전역적이고 초고대역폭, 초저지연의 "데이터 고속도로" 역할을 하여 컴퓨팅을 유연하게 확장할 수 있게 합니다.
UnifiedBus 아키텍처는 캐비닛 내부, 캐비닛 간, 클러스터 간 상호연결을 모두 포괄하며, 단일 캐비닛에서 100만 개 NPU 규模의 클러스터까지 탄력적으로 확장할 수 있게 합니다.
캐비닛 내부에서 UnifiedBus LinkBlade는 케이블이 없는 설계를 채택해, 4,096개 NPU 규모의 SuperPoD에서 구리 케이블을 약 196킬로미터 줄인다고 합니다.
캐비닛 간에는 UnifiedBus LinkDevice가 176개 포트를 지원하며, 포트당 1.6 Tbit/s의 대역폭으로 280 Tbit/s의 전광(all-optical) 상호연결을 제공합니다. 화웨이는 이것이 업계에서 가장 높은 대역폭, 가장 많은 포트 수를 갖춘 고속 버스 프로토콜 상호연결 장치이며, 왕복 지연 시간은 2마이크로초까지 낮다고 말합니다.
클러스터 간에는 UnifiedBus 광 UBG 스위치가 최대 1,024의 대규모 기수(radix) 팬아웃을 제공합니다. 이는 100만 개 NPU 규모의 SuperCluster를 지원하고, 수십 조 개 모델 파라미터를 지원하는 방향으로의 진화를 가능하게 한다는 뜻입니다.
화웨이는 UnifiedBus 기반의 에이전틱 AI SuperCluster를 구축했으며, 이는 TaiShan 950 및 Atlas 960 SuperPoD, OceanStor M900 메모리 스토리지, Xinghe UBG 스위치로 구성됩니다.
화웨이는 UnifiedBus 기술을 컴퓨트 어플라이언스에도 적용했습니다. 두 대의 Atlas 650E 공랭식 서버를 UnifiedBus로 직접 연결하면 스위치 없이 16개 NPU를 하나의 단위처럼 상호연결할 수 있습니다. 이 구성은 소규모 SuperPoD로 확장될 수 있어, 중소기업도 조 단위 파라미터 모델을 자체적으로 실행할 수 있습니다.
**클러스터 간 KV 캐시 공유**
우리가 이해하기로는 Nvidia GPU 생태계에서 HBM에서 밀려난 뒤에도 보존해야 하는 KV 캐시 내용은 점점 느려지는 메모리와 스토리지 계층을 거쳐 NVMe SSD로 내려갑니다. 대형 모델의 경우 이 데이터를 SSD에서 다시 불러오는 것이 KV 캐시 값을 재계산하는 것보다 빠르지만, 여전히 느린 편입니다. 데이터는 Nvidia의 동서 네트워크인 NVLink를 통해 GPU 사이에서 전송될 수 있으며, 이 속도는 Blackwell GPU에서 1.8 TB/s, Vera Rubin GPU에서 3 TB/s입니다. 그러나 Nvidia의 L3.5 계층에 있는 NVMe SSD는 BlueField-4가 중개하는 Spectrum-X 이더넷 링크를 통해 GPU HBM으로 데이터를 보내며, 이 링크의 속도는 약 100 GB/s로 훨씬, 훨씬 느립니다.
화웨이의 데이터 스토리지 제품 라인 CMO인 우 (제프) 준제(Wu (Jeff) Junjie)는 브리핑에서 화웨이의 M900 컨텍스트 메모리 스토리지 제품이 광 스위치를 통해 UB에 연결될 수 있다고 말했습니다. M900은 클러스터당 최대 4 PB의 공유 L3.5 KV 캐시 용량과 40 TB/s의 총 대역폭을 제공합니다.
이는 Spectrum-X 링크보다 빠르며, 우리가 이해하기로는 NVMe 드라이브에 저장된 KV 캐시 내용을 Nvidia GPU로 보내는 것보다 화웨이 NPU로 더 빠르게 보낼 수 있다는 뜻입니다.
**논평**
Nvidia가 GPU 간 연결을 처음 개발하고 초고속 연결의 필요성을 확인했을 때, 퇴출된 KV 캐시 데이터의 전송 부하는 주요 요인으로 여겨지지 않았을 것이라고 봅니다. 당시에는 BlueField DPU로 GPU 서버의 CPU 부담을 덜고 이더넷으로 이 스토리지 트래픽을 관리하는 것으로 충분하다고 여겨졌을 것입니다.
오늘날 화웨이의 관점에서 보면 상황은 더 이상 그렇지 않습니다. 퇴출된 KV 캐시 데이터는 NPU 활용률을 높게 유지하기 위해 NPU 사이에서 고속으로 공유되어야 하며, M900 같은 스토리지에 UB 연결을 열어주는 방식이 이를 달성합니다. Nvidia가 어떻게 대응할지는 흥미로운 질문입니다.
**주석**
어텐션은 문맥상 관계를 포착하는 메커니즘이며, FFN(피드포워드 네트워크)은 계층별 특징 변환을 담당합니다. 둘 다 Transformer 아키텍처의 핵심 연산 모듈입니다.
어텐션-FFN 분리(AFD)는 어텐션과 FFN을 분리해 서로 다른 연산 장치에 배치함으로써, 워크로드마다 유연한 CPU-NPU 구성을 가능하게 합니다. 이는 추론 효율과 자원 활용률을 높입니다. AFD는 CPU와 NPU의 잦은 협업이 필요한 에이전틱 AI에 특히 유용합니다.