OCP 글로벌 서밋에서 Nvidia는 랙 및 트레이 설계와 액체 냉각을 강화한 MGX 1.2 사양을 포함해 Vera Rubin 아키텍처를 생태계에 공개했다. 회사는 AI 팩토리가 메가와트 규모에서 기가와트 규모로 커지는 만큼 개방형 표준이 필요하다고 주장했다.

AI 팩토리의 규모가 메가와트에서 기가와트로 커지면서, 이를 구축하는 데는 첨단 컴퓨팅 이상의 것이 필요해졌습니다. 개방형 표준은 업계가 AI 인프라를 더 빠르고, 효율적이며, 안정적으로 확장하도록 돕고 있습니다.

산호세 McEnery 컨벤션 센터에서 열리는 Open Compute Project(OCP) 글로벌 서밋에서 NVIDIA는 차세대 AI 인프라를 위한 공통 기반을 마련하는 것을 목표로 한 새로운 파트너십과 기여 계획을 발표했습니다.

NVIDIA는 개방형 NVIDIA MGX 아키텍처를 통해 핵심 NVIDIA Vera Rubin 랙 및 컴퓨트 트레이 설계를 OCP에 기여했습니다. 이를 통해 시스템 구축업체들은 차세대 AI 팩토리 인프라를 개발하기 위한 공통 기반을 얻게 되었습니다.

이러한 노력은 AI 팩토리 자체, 이를 구동하는 전력망, 그리고 현대 가속 컴퓨팅의 핵심인 랙 규모 아키텍처 전반에 걸쳐 있습니다.

## NVIDIA와 파트너, 개방형 아키텍처의 진전을 발표

OCP 행사에서 NVIDIA와 파트너사들은 여러 가지 발표를 했습니다.

- NVIDIA와 하이퍼스케일러들은 AI 팩토리 설계 표준과 전력망 회복력을 포함한 차세대 AI 팩토리용 개방형 표준을 공개했습니다.

- NVIDIA는 NVIDIA DSX AI Factory를 위한 새로운 오픈소스 소프트웨어 구성 요소를 출시했습니다.

- Meta와 NVIDIA는 NVIDIA Spectrum-X Ethernet SuperNIC과 Spectrum-6 혁신 기술을 통해 개방형 AI 네트워킹을 발전시켰습니다.

- Visionbay는 Vera Rubin 시대를 위한 800V DC AI 팩토리 설계를 선보였습니다.

- NVIDIA와 Cisco는 400Gb/s 기반 네트워킹 패브릭을 위한 업계 최초의 모듈인 Ultra-Dense Small Form Factor Pluggable(USFP) 표준을 발표했습니다.

- NVIDIA와 Google은 향후 NVIDIA ConnectX-10 SuperNIC 및 BlueField DPU에 Falcon Transport 지원을 추가한다고 발표했습니다.

NVIDIA의 하이퍼스케일 및 고성능 컴퓨팅 담당 부사장인 Ian Buck은 가득 찬 청중 앞에서, 개방형 인프라가 전 세계적으로 AI 팩토리를 확장하는 데 있어 얼마나 중요한 요소가 되고 있는지 설명했습니다.

OCP에서 발표된 소식은 NVIDIA의 극한 코디자인(extreme codesign)이 개방형 표준과 결합되어 배포를 가속하고, 전력 효율을 개선하며, 와트당 토큰(tokens-per-watt) 성능을 높이고 있음을 보여줍니다.

## OCP에서 MGX 랙 기여로 Vera Rubin AI 팩토리 진전

NVIDIA는 OCP의 Open DC Initiative를 통해 업계 리더들과 함께 3세대 MGX AI 데이터센터 레퍼런스 설계에 기여했습니다.

MQD 및 MQDB와 같은 개방형 액체 냉각 기술과 결합된 이 노력은 검증된 AI 팩토리 설계를 다른 기업들이 채택하고, 제조하고, 확장할 수 있는 업계 표준으로 전환하는 데 도움을 줍니다.

NVIDIA Vera Rubin AI 팩토리를 위해 업데이트된 MGX 1.2 사양은 랙 규모의 블라인드 메이트 액체 냉각, 상호운용 가능한 랙 규모 상호연결 인프라, 고전력 AI 시스템을 위해 설계된 액체 냉각식 5,000A 버스바로 개방형 아키텍처를 확장합니다. 또한 기본 19인치 장비 지원과 고밀도 랙 설계를 추가합니다.

MGX 1.2는 구성 가능한 I/O 베이, 팬이 없는 액체 냉각 컴퓨트 트레이, 표준화된 전력 및 냉각 인터페이스, 생태계 파트너가 상호운용 가능한 가속 컴퓨팅 플랫폼을 구축하도록 돕는 공통 인프라를 통해 모듈성을 더욱 확장합니다. 조립, 테스트, 서비스 시간을 개선하여 제조와 현장 서비스를 간소화하고, 더 빠르고 효율적인 인프라 구축을 가능하게 합니다. 이 아키텍처는 서비스 용이성, 배포, 인프라 재사용을 간소화하면서 최대 250kW의 랙 배포를 지원합니다.

Vera CPU 랙 설계 사양은 NVIDIA MGX 개방형 아키텍처를 가속 컴퓨팅 너머로 확장하여, 성장하고 있는 에이전틱 AI 시대를 위한 전용 플랫폼을 제공합니다. Vera Rubin NVL72가 대규모 학습과 추론의 기반이 되는 반면, NVIDIA Vera CPU 랙은 도구 호출, 오케스트레이션, 샌드박스 실행을 지원하도록 설계되어 AI 에이전트가 실시간으로 애플리케이션, 데이터, 서비스와 상호작용하도록 돕습니다.

3세대 NVIDIA MGX 랙 아키텍처를 기반으로 한 Vera CPU 랙은 컴퓨팅, 네트워킹, 전력, 냉각을 하나의 공통 모듈식 플랫폼으로 통합하는 동일한 랙 규모 설계 원칙을 공유합니다. 이러한 접근 방식을 통해 파트너들은 공유 생태계, 간소화된 통합, 차세대 AI 팩토리를 위한 일관된 기반의 혜택을 누리면서 특화된 인프라를 배포할 수 있습니다.

## NVIDIA, DSX AI 팩토리를 위한 새로운 오픈소스 소프트웨어 구성 요소 출시

NVIDIA DSX AI 팩토리 플랫폼은 극한 코디자인을 적용하여 컴퓨팅, 네트워킹, 전력, 냉각, 시설, 소프트웨어를 통합함으로써, AI 팩토리가 하나의 최적화된 시스템으로 작동하도록 돕고, 주어진 인프라 제약 안에서 AI 생산성을 극대화합니다. 이 통합 시스템의 중심에는 DSX 아키텍처를 대규모로 조정되고 반복 가능한 운영으로 바꾸는 개방형 운영 계층인 DSX OS가 있습니다.

OCP에서 NVIDIA는 네트워크 구성, 클러스터 검증, 랙 관리, 베어메탈 프로비저닝을 위한 오픈소스 구성 요소로 DSX OS를 확장했습니다.

- **NVIDIA Config Manager:** 대규모 스위치 구성을 자동화하여, 고객이 최소한의 수동 개입 또는 아예 개입 없이 일관된 AI 팩토리 네트워크 패브릭을 배포, 검증, 유지할 수 있도록 합니다.

- **NVIDIA Cluster Readiness Engine:** 학습을 시작하기 전에 실제 워크로드 시뮬레이션으로 GPU 클러스터에 스트레스 테스트를 수행하여 하드웨어 상태를 보장하고, 값비싼 작업 중단을 줄이는 데 도움을 줍니다.

- **NVIDIA Rack Management Service:** 랙을 일급 단위로 취급하는 랙 하드웨어 추상화 및 운영 솔루션을 제공하여, AI 팩토리 규모에서 펌웨어 관리를 개선합니다.

- **Cluster API Provider for NVIDIA Infrastructure Controller:** 베어메탈 배포와 테넌트 온보딩을 가속하여, 원시 AI 하드웨어를 며칠이 아닌 몇 시간 안에 운영 가능한 클러스터로 전환합니다.

NVIDIA DGX Cloud 운영 경험을 바탕으로 개발된 이 오픈소스 구성 요소들은 클라우드 제공업체와 소프트웨어 파트너가 AI 팩토리 기능을 다중 테넌트 플랫폼에 직접 통합할 수 있도록 합니다.

개발자는 DSX AI Factory GitHub 페이지를 방문하여 NVIDIA DSX AI Factory 플랫폼의 새롭고 기존의 오픈소스 소프트웨어 구성 요소를 살펴보고 기여할 수 있습니다.

## NVIDIA와 하이퍼스케일러, 차세대 AI 팩토리를 위한 개방형 표준 공개

AI 인프라가 전 세계로 확장되려면 첨단 하드웨어만으로는 부족합니다. 업계 전체가 기반으로 삼을 수 있는 공통 토대가 필요합니다.

OCP에서 NVIDIA는 AMD, Google, Meta와 함께 이 토대를 확립하는 새로운 개방형 사양을 공개했습니다. Open Data Center Specification v0.7은 전력 아키텍처에서 냉각 인프라, 물리적 배치에 이르기까지 차세대 AI 팩토리 시설 설계를 위한 통합 청사진을 정의합니다.

Google, Meta, Microsoft, NVIDIA가 공개한 OCP Grid Resilience Specification은 대규모 AI 인프라가 전력망 교란 중에 어떻게 작동해야 하는지를 규정합니다. 즉, 연결을 유지하고, 자동으로 대응하며, 2초 미만에 거의 전체 부하로 복구해야 합니다.

이제 이러한 표준이 개방되면서, 전 세계 제조업체들은 목표로 삼을 공통 기준을 갖게 되었습니다. 장비 제조사, 코로케이션 사업자, 데이터센터 운영자는 개별 고객의 독점 사양을 기다릴 필요 없이, 전 세계에서 건설 중인 AI 팩토리에 전력을 공급하는 인프라 계층을 설계, 제작, 공급하기 시작할 수 있습니다.

NVIDIA DSX 레퍼런스 설계와 호환되는 이 사양들은, 시설 배치와 전력 아키텍처에서부터 전력망 신호를 실시간으로 모니터링하고 대응하는 소프트웨어에 이르기까지, 두 사양 모두에 대해 검증되고 배포 가능한 구현을 제공합니다. Vera Rubin AI 팩토리를 구축하는 운영자에게는 이제 개방형 커뮤니티 표준에서 가동 중인 시스템에 이르는 직선 경로가 생긴 셈입니다.

## Visionbay.ai, Vera Rubin 시대를 위한 800VDC AI 팩토리 설계

AI 팩토리가 더 크고 강력해지면서, 이 모든 것 위에 하나의 과제가 드리워져 있습니다. 차세대 AI를 구동하는 가속 컴퓨팅 시스템에 충분한 전력을 공급하는 것입니다.

OCP에서 Visionbay는 800 VDC 아키텍처를 중심으로 설계되고 향후 NVIDIA Vera Rubin 배포를 염두에 두고 구축된 차세대 AI 팩토리 플랫폼 K-1의 계획을 공개했습니다. 이 프로젝트는 NVIDIA의 800 VDC 레퍼런스 아키텍처와 Vertiv의 전력 및 열 관리 기술을 결합하여, 고밀도 AI 인프라를 위한 확장 가능한 기반을 만듭니다.

이 설계는 업계가 직면한 성장하는 과제를 해결합니다. AI 학습, 추론, 추론형 워크로드가 확대되면서 랙의 전력 밀도는 계속 높아지고 있습니다. 기존의 저전압 배전 방식은 점점 확장하기 어려워지며, 더 많은 구리, 더 많은 케이블, 더 많은 전력 변환 장비를 요구합니다.

NVIDIA의 800 VDC 아키텍처를 채택함으로써 K-1은 기존 배포의 유연성을 유지하면서 고밀도 AI 인프라로 나아가는 경로를 만듭니다. 첫날부터 전면적인 전환을 요구하지 않고, 플랫폼은 가장 큰 이점을 제공하는 곳부터 800 VDC 배전을 단계적으로 도입하도록 설계되었습니다. 이를 통해 운영자는 시설을 광범위하게 재설계하지 않고도 향후 세대의 가속 컴퓨팅에 대비할 수 있습니다.

이 아키텍처는 AC-DC 변환을 중앙화하고 컴퓨팅 자원에 더 가까운 곳에 800 VDC를 배전하는 클러스터 단위 전력 센터를 중심으로 구축되었습니다. 이 접근 방식은 하위 단계의 전력 공급을 단순화하고, 모듈식 확장을 지원하며, 향후 AI 팩토리 성장을 위한 반복 가능한 구성 단위를 만듭니다.

K-1은 또한 전력, 냉각, 컴퓨팅이 함께 설계되는 NVIDIA AI 팩토리 배후의 시스템 수준 설계 철학을 반영합니다. 액체 냉각 인프라, 확장 가능한 전력 배전, 향후 Vera Rubin급 배포를 지원함으로써, 이 프로젝트는 생태계 파트너들이 NVIDIA의 AI 팩토리 아키텍처를 가속 컴퓨팅의 새로운 시대를 위해 설계된 배포 가능한 인프라로 전환하고 있음을 보여줍니다.

## Meta와 NVIDIA, Spectrum-6 및 멀티플레인 기술로 AI 네트워킹 발전

이번 행사에서 Meta와 NVIDIA는 Meta가 개방형 네트워킹 기반으로 더 크고 고성능인 NVIDIA Vera Rubin AI 팩토리를 구축하기 위해 NVIDIA Spectrum-6 102.4Tb/s 이더넷 스위치를 도입한다고 발표했습니다.

Spectrum-6는 Spectrum-4의 두 배에 달하는 스위칭 용량과 레인당 대역폭을 제공하며, 레인당 200G의 무손실 이더넷 AI 패브릭을 제공합니다. 또한 높은 유효 대역폭과 성능 격리를 통해 한 작업의 트래픽이 다른 작업을 늦추는 것을 막습니다.

Meta의 Spectrum-6 기반 스위치인 N-IceCube는 Meta의 100T 액체 냉각 랙인 IcePack에 장착됩니다. N-IceCube는 Meta의 오픈소스 네트워크 운영체제인 Facebook Open Switching System(FBOSS)을 실행하며, Meta는 이를 하이퍼스케일에서 효율적인 네트워킹을 지원하기 위해 OCP에 기여했습니다.

FBOSS는 NVIDIA가 함께 개발을 도운 OCP 표준인 Switch Abstraction Interface를 기반으로 구축되어, 스위치 하드웨어를 제어하는 벤더 독립적인 방식을 제공합니다. 이러한 기술들은 함께 10만 개 이상의 GPU로 구성된 에이전틱 AI 팩토리를 지원하며, 이 팩토리들은 대규모 전문가 혼합(mixture-of-experts) 모델을 학습하고 서비스합니다.

이번 발표는 Meta의 하이퍼스케일 AI 인프라 운영 경험과 NVIDIA의 네트워킹 기술을 결합한 협력의 다음 단계를 나타냅니다.

이 협력의 핵심에는 Spectrum-6 스위치와 ConnectX-9 SuperNIC으로 구현된 Spectrum-X 멀티플레인 기술이 있습니다. 멀티플레인은 최대 8개의 독립적인 네트워크 플레인에 걸쳐 GPU 트래픽을 하드웨어에서 분산시켜, AI 팩토리가 더 적은 스위치 계층과 더 낮은 인프라 비용으로 10만 개 이상의 GPU까지 확장할 수 있도록 합니다. GPU 사이의 다중 경로는 네트워크 활용도와 복원력을 높입니다. 구성 요소에 장애가 발생하면 트래픽이 나머지 플레인으로 이동하여, 대역폭이 줄어들더라도 GPU가 계속 생산적으로 작동하고 AI 애플리케이션이 계속 실행됩니다.

Meta와 NVIDIA는 배포 경험과 빠른 엔지니어링 반복을 통해 이러한 복원력을 강화하기 위해 협력했습니다. 두 팀은 온프레미스와 클라우드 환경 전반에서 개선 사항을 검증했습니다.

"우리는 멀티플레인 패브릭을 운영상 확장 가능하고 성능이 뛰어나도록 만드는 NVIDIA와의 긴밀한 파트너십에 큰 기대를 갖고 있습니다. 이는 우리 자체 인프라 구축뿐 아니라 공동 클라우드 파트너들에게도 매우 중요한 요구 사항입니다." Meta의 시니어 디렉터 Omar Baldonado는 다음과 같이 말했습니다. senior director of dat...