Nvidia, 실시간 GPU 위치 추적, 전력 사용, 열 모니터링을 위한 클라우드 통합 소프트웨어 출시.

엔비디아(Nvidia)는 데이터센터 운영자가 AI GPU 풀의 다양한 측면을 모니터링할 수 있는 새로운 GPU 풀 모니터링 소프트웨어를 상세히 소개했다. 이 소프트웨어는 전역 배포 또는 특정 물리적 또는 클라우드 위치를 나타내는 컴퓨트 존 단위로 GPU의 물리적 위치를 감지할 수 있어, 칩 밀매에 대한 잠재적 억제 수단으로 positioning될 수 있다. 그러나 이 소프트웨어는 의무 사항이 아닌 옵트인(opt-in) 방식이므로, 국가 주체이거나 기타 유형의 밀매자를 막는 도구로서의 효과가 제한될 수 있다.

이 소프트웨어는 엔비디아의 NGC 플랫폼에서 호스팅되는 중앙 대시보드로 집계되는 광범위한 텔레메트리(telemetry) 데이터를 수집한다. 이 인터페이스를 통해 고객은 전역 또는 컴퓨트 존 단위로 전체 풀에 걸친 GPU 상태를 시각화할 수 있다. 운영자는 풀 전체의 요약 정보를 확인하고 개별 클러스터로 세분화하여 조사하며, 인벤토리 데이터와 시스템 전반의 건강 정보를 포함한 구조화된 보고서를 생성할 수 있다.

엔비디아는 이 소프트웨어가 엄격히 관찰용임을 강조한다. 즉, GPU 동작에 대한 통찰력을 제공하지만 백도어나 킬 스위치(kill switch)로 작동하지는 않는다. 만약 엔비디아가 NGC 플랫폼을 통해 일부 GPU가 중국으로 밀반출되었음을 발견하더라도, 해당 GPU를 원격으로 종료시킬 수는 없다. 다만 회사는 이 데이터를 활용하여 GPU가 해당 위치에 어떻게 도달했는지 추론할 수는 있을 것이다. 이 소프트웨어는 "투명하고 감사 가능한 고객 설치형 오픈소스 클라이언트 에이전트"로 설명된다.

엔비디아의 풀 관리 소프트웨어는 부하 하에서 GPU 인프라의 동작을 상세하고 실시간으로 모니터링한다. 이 시스템은 짧은 지속 시간의 스파이크(spikes)를 포함한 전력 동작에 대한 텔레메트리를 지속적으로 수집하여 운영자가 전력 한도 내에서 운영할 수 있도록 지원한다. 또한 풀 전반의 사용률, 메모리 대역폭 사용량 및 인터커넥션(interconnection) 건강 상태를 모니터링하여 사용률과 와트당 성능을 극대화한다. 소프트웨어는 열 스로틀링(thermal throttling)과 조기 부품 노화를 방지하기 위해 열 조건과 공기 흐름 조건에도 중점을 두어, 운영자가 핫스팟(hotspot)과 불충분한 공기 흐름을 조기에 포착할 수 있도록 돕는다. 추가로 시스템은 노드들이 일관된 소프트웨어 스택과 운영 매개변수를 공유하는지 검증하는데, 이는 재현 가능한 데이터셋과 예측 가능한 학습 동작에 중요하며, 드라이버나 설정 불일치와 같은 구성 상의 차이는 플랫폼에서 명확히 드러난다.

엔비디아의 풀 관리 서비스는 GPU 동작을 원격으로 진단하고 제어하기 위한 회사의 유일한 도구는 아니다. DCGM은 원시 GPU 건강 데이터를 노출하는 로컬 진단 및 모니터링 툴킷이지만, 운영자가 자체 대시보드와 집계 파이프라인을 구축해야 하므로 사용성이 크게 제한되지만, 대신 운영자가 필요한 도구를 직접 구축할 수 있게 한다. Base Command는 심층 하드웨어 모니터링을 목적으로 하기보다는 AI 개발, 작업 스케줄링, 데이터셋 관리 및 협업을 위한 워크플로우 및 오케스트레이션 환경이다. 이 세 가지 도구는 함께 데이터센터 운영자에게 강력한 제어 기능을 제공한다. DCGM은 노드 레벨의 프로브(probe)를 제공하고, Base Command는 워크로드를 처리하며, 새로운 서비스는 이를 지리적으로 분산된 GPU 배포 규모에 맞게 확장되는 풀 전체의 가시성 플랫폼으로 통합한다.