반도체·하드웨어 · 리포트

데이터 센터에서 AI 팩토리로: NVIDIA GTC 2026...

업계 전문지Slicast · 2026년 9월 25일 21:10 UTC · 글로벌 · 출처: IESVE

중요도 77

San Jose에서 열린 엔비디아의 GTC 2026에 들어서는 순간, 업계가 다음 단계를 고민하는 것을 목격하는 기분이었습니다. SAP 센터에는 30,000명이 넘는 개발자, 엔지니어, 인프라 리더들이 모여 있었고, 그 분위기는 단순한 제품 출시보다 훨씬 더 큰 무언가를 반영하고 있었습니다.

저는 제 컨설팅 회사를 대표하여, 그리고 IES의 자문관으로서 엔비디아의 로드맵이 인프라에 미치는 영향을 이해하기 위해 참석했습니다. 그 결과는 데이터 센터 소유자, 운영자, 설계 엔지니어들이 직면한 단기 과제에 대한 제 생각을 근본적으로 바꾸어 놓았습니다.

**추론의 시대가 왔다**

Jensen Huang은 이 순간을 명확하게 정의했습니다. 그의 GTC 기조연설은 2026을 "추론의 해"라고 선언했습니다. 이는 인공지능 워크로드가 훈련에서 실시간 토큰 생성으로 이동하는 분기점입니다. "인공지능은 이제 생각해야 합니다"라고 그는 말했습니다. "생각하려면 추론이 필요하고, 추론은 많은 수의 토큰을 생성해야 합니다."

이 뒤에 있는 규모는 엄청납니다. 엔비디아는 현재 2027년까지 Blackwell과 Vera Rubin 시스템에 대한 누적 수요가 최소 1조 달러에 이를 것으로 예상하고 있습니다. 이는 작년 예측의 2배입니다. 컴퓨팅 수요는 단 2년 만에 10,000배 증가했습니다. 방향성은 명확합니다.

이 시대의 핵심 지표는 초당 토큰 수/메가와트입니다. 이는 칩 수준의 지표가 아닌 시스템 수준의 측정입니다. 이 구분은 이러한 시스템을 하우징하는 시설을 설계하거나 운영하는 누구에게나 매우 중요합니다. GPU, CPU, LPU, 네트워킹, 스토리지, 메모리, 액체 냉각, 공기 냉각, 그리고 변전소에서 칩까지의 전력 공급 아키텍처가 모두 조화롭게 작동해야 합니다.

**인공지능 팩토리: 근본적인 아키텍처 변화**

"인공지능 팩토리"는 GTC에서 나온 가장 중요한 개념입니다. 이들은 서버룸이나 전통적인 HPC 시설이 아닙니다. 이들은 긴밀하게 결합되고 함께 설계된 산업용 시스템으로, 하나의 목적을 위해 엔지니어링되었습니다. 즉, 규모에 따른 토큰 생산입니다.

Vera Rubin 플랫폼은 이 비전의 중심에 있습니다. 이는 7개의 칩과 5개의 랙 규모 시스템으로 구성된 풀 스택 아키텍처로, 단일 인공지능 슈퍼컴퓨터로 함께 작동하도록 설계되었습니다. NVL72 구성은 72개의 Rubin GPU와 36개의 Vera CPU를 다음 세대 NVLink 인터커넥트로 연결하여 동등한 전력에서 Hopper 세대 시스템 대비 최대 35배의 토큰 처리량 개선을 달성합니다.

이와 함께 Groq 3 LPX 랙이 있습니다. 이는 엔비디아가 Groq의 Language Processing Unit 기술을 수십억 달러에 라이선스함으로써 탄생했습니다. 초저지연 추론을 위해 특별히 설계된 LPX 랙은 256개의 LPU를 보유하고 있으며 토큰 생성의 서빙 측면을 담당하고, Rubin은 무거운 워크로드를 처리합니다. 함께 이들은 1조 파라미터 모델의 토큰 출력을 이전 시스템을 능가하는 특별한 규모로 확장할 수 있습니다.

또한 공개된 것은 Kyber로, 엔비디아의 차기 주요 랙 아키텍처입니다. 더 높은 밀도와 더 낮은 지연시간을 위해 수직으로 배치된 컴퓨트 트레이에 144개의 GPU를 갖추고 있습니다. Kyber는 2027년에 예상되는 Vera Rubin Ultra의 기초를 형성하며, Feynman 세대는 2028년에 도착합니다. 단계적 하드웨어 진화는 12~18개월마다 발생하고 있으며 가속화되고 있습니다. 각 도약은 전력 밀도, 냉각 전략, 물리적 아키텍처에 대한 설계 가정을 재설정합니다.

**완전히 해결되지 않은 인프라 결과**

액체 냉각은 더 이상 선택사항이 아닙니다. Vera Rubin과 Kyber는 주로 액체 냉각을 위해 설계되었습니다. 최고 밀도의 플랫폼은 공기로 적절히 냉각될 수 없습니다. 그러나 액체 냉각도 공기 측 부하를 완전히 제거하지 못합니다. 200~300kW 캐비닛도 여전히 의미 있는 잔여 공기 열 부하를 생성할 수 있습니다. 이는 종종 과소평가되는 설계 현실입니다. OEM은 허용 가능한 냉각수 온도 범위를 정의하지만, 냉각 인프라를 지정하고 운영하기 위한 시설 수준의 수락된 표준이 아직 존재하지 않습니다.

800VDC이 화이트 스페이스에서 현실화되고 있습니다. 레거시 데이터 센터는 랙 수준에서 208VAC를 실행하며, 이는 CPU 시대 부하에는 충분하지만 150~300kW 랙에는 비실용적입니다. 415VAC는 증가하는 밀도에 대응하여 12~18개월 동안 나타났지만, 인공지능 팩토리 밀도에서는 실용적 한계에 도달합니다. 800VDC와 OCP의 +/−400VDC는 더 높은 전압, 더 적은 변환 단계, 그리고 더 낮은 배포 손실로 메가와트 규모 컴퓨트 블록의 표준으로 나타나고 있습니다. 그러나 커넥터, 보호 체계, 랙 수준 인터페이스 또는 안전 코드에 대한 확립된 표준이 존재하지 않습니다. 공급업체는 "올바른 답변"에 대해 의견을 제시하고 있지만, 운영자는 명확성이 없는 상태에서 주요 자본 약속에 직면해 있습니다.

18개월 이상 안정적인 하드웨어 목표가 존재하지 않습니다. 이는 가장 중요한 과제일 수 있습니다. 인공지능 컴퓨트 소유자는 전례 없는 속도로 막대한 용량 블록을 배포하려고 합니다. 그러나 장비는 그들과 데이터 센터 호스트에게 새로운 것입니다. OEM은 각각 엔비디아 참조 아키텍처의 자체 구현을 가지고 있으며, 별개의 열 특성과 전력 요구사항을 가지고 있습니다. 시설 수준에서 열이 어떻게 제거되거나 전력이 배포되는지를 정의하는 단일 표준이 없습니다. 시설이 설계, 구축, 완성될 때쯤이면 하드웨어 목표가 다시 변경될 수 있습니다.

**자본 약속 전에 현실을 시뮬레이션하기**

운영자가 직면한 질문은 변경되었습니다. 더 이상 단순히 "이 설계가 사양을 충족할 것인가?"가 아니라 "이 시스템이 개별 구성 요소의 합이 아닌 통합된 전체로서 예상 수준의 성능을 발휘할 것인가?"입니다. 이는 자본 약속 전에 시나리오 테스트, 모델링된 환경에서 공급업체 예측 검증, 그리고 통합 시스템으로서 전력, 냉각, 컴퓨트, 네트워킹 동작을 이해해야 합니다.

엔비디아는 GTC에서 Vera Rubin DSX AI Factory Reference Design과 Omniverse DSX Blueprint를 발표함으로써 이 중요성을 시사했습니다. 이는 규모가 큰 인공지능 팩토리를 계획, 구축, 운영하기 위한 물리적으로 정확한 디지털 쌍둥이입니다. DSX Air 플랫폼은 설치 전에 엔비디아 하드웨어의 전체 논리적 시뮬레이션으로 이를 더욱 확장하여, 고객이 첫 번째 토큰까지의 시간을 주에서 시간으로 단축할 수 있게 합니다.

산업 파트너인 Switch, Trane Technologies, Vertiv, 그리고 Eaton (최근 Boyd Cooling과 Flexnode를 인수함)은 모두 이 참조 생태계에 기여하고 있으며, 배포 전 시뮬레이션이 이제 경쟁 필요성이지 사치품이 아니라는 광범위한 인식을 반영합니다.

이는 정확히 IES가 독특한 능력을 발휘하는 부분입니다. Omniverse DSX 같은 플랫폼이 네트워크 토폴로지와 ROI에 초점을 맞추는 동안, IES의 도구는 열, HVAC, 기계 수준에서 작동합니다. 즉, IT 계층 아래의 시설 수준 물리학을 제공합니다. 기존 건물이 차세대 부하를 처리할 수 있는지, 냉각 전략이 실제 조건에서 수행되는지, 또는 혼합 OEM 환경이 다중 테넌트 공간에서 어떻게 동작하는지를 결정하는 운영자에게 시뮬레이션 충실도는 매우 중요합니다.

GTC의 하이퍼스케일러로부터의 피드백(세계 최대 규모의 배포를 관리하는 팀들)은 일관되었습니다. 그들은 공급망 압박 속에서 인프라 결정을 내리고, 조달할 수 있는 변압기와 냉각 장비를 수용하며, 그 후에 성능을 분석하고 있습니다.

원문 보기