Meta가 Nvidia Blackwell GB200 NVL72 GPU를 Open Rack v3 및 액체 냉각과 결합한 Catalina AI 팟 아키텍처 공개

Meta는 NVIDIA의 GB200 NVL72 솔루션을 기반으로 한 Open Rack v3 및 액체 냉각 기술을 활용한 Catalina AI 시스템의 구성 요소를 공개했습니다. Meta는 NVIDIA와 함께 Catalina 프로젝트를 초기에 시작했으며, NVL72 GPU 솔루션을 기초로 활용했지만 NVL36x2 구성으로 전환했습니다. Meta는 NVIDIA와 협력하여 시스템을 자신들의 필요에 맞게 커스터마이징했으며, 두 회사는 MGX 및 NVL72에 대한 참고 설계를 오픈소스로 기여했고, Catalina는 Open Compute 웹사이트에서 이용 가능합니다.

Meta의 GPU 클러스터 요구사항은 시간이 지남에 따라 급격히 증가했습니다. 2022년에 Meta는 주로 128~512 GPU의 워크로드를 실행하는 기존의 랭킹 및 추천 모델을 위해 설계된 약 6,000개의 GPU로 구성된 클러스터에 중점을 두었습니다. 1년 후, GenAI와 LLM의 등장으로 클러스터는 16~24K GPU로 증가했으며, 이는 4배 증가입니다. 지난해 Meta는 100,000개의 GPU를 운영했으며 계속해서 더 많은 것을 추가하고 있습니다. Llama와 같은 모델을 제공하는 소프트웨어 지원 회사로서 Meta는 향후 몇 년 내에 클러스터 규모가 10배 증가할 것으로 예상합니다.

Catalina에서 Meta는 각 시스템을 "pod"라고 부르며 규모 확장을 위해 복제합니다. 각 pod는 동일한 구성의 단일 72 GPU 확장 영역을 포함하는 두 개의 IT 랙으로 구성됩니다. 각 IT 랙에는 상단과 하단에 분산된 18개의 계산 트레이와 각 랙의 왼쪽과 오른쪽에 9개의 NV 스위치가 있습니다. 랙의 왼쪽과 오른쪽에 있는 대규모 공기 보조 액체 냉각 장치(ALC)를 통해 Meta는 미국 및 전 세계의 기존 데이터 센터에 액체 냉각 고전력 밀도 랙을 배포할 수 있습니다.

Meta의 이중 랙 구성은 랙 내의 CPU 개수와 총 메모리를 증가시키며, 17TB에서 34TB LPDDR 메모리로 증가하여 랙 내 GPU와 CPU 간의 총 48TB 캐시 일관성 메모리를 활성화합니다. PSU는 480볼트 또는 277볼트 단상 전압을 48볼트 DC로 변환하며, buck bar를 통해 분배되어 개별 서버 블레이드, NV 스위치 및 네트워킹 장치에 전원을 공급합니다. Meta의 고전력 OpenRack v3 랙 버전은 busbar에 최대 94kW(600A)를 허용하며, 시설 액체 냉각이 있는 최신 건물을 지원합니다. Rack Management Controller(RMC)는 누수에 대해 랙 구성 요소를 지속적으로 모니터링하고 공기 보조 액체 냉각 시스템 및 시설 수준의 밸브 트레인을 관리합니다.

여러 pod를 더 큰 클러스터로 연결하기 위해 Meta는 자체 분산 스케줄링 패브릭을 사용하며, 이를 통해 단일 데이터 센터 건물이나 스위트 내, 여러 건물에 걸쳐, 그리고 잠재적으로 더 큰 규모에서 여러 pod를 연결하여 대규모 클러스터를 제공할 수 있습니다. 이 패브릭은 AI를 위해 조정되었으며 유연성과 속도를 제공하는 데 도움이 되며, 본질적으로 전체 시스템에 걸쳐 모든 GPU가 서로 통신할 수 있도록 합니다.