Nvidia의 데이터센터 사업이 Q2 FY2024에서 총 수익의 76%에 도달, 폭발적인 클라우드 AI 서버 수요에 의해 견인됨

NVIDIA의 데이터센터 사업부는 FY2Q24에 103억 2천만 달러를 기록하며 분기 대비 141%, 전년 대비 171% 성장했으며, 이는 회사 전체 매출의 76% 이상을 차지하고 있다. 이러한 지배적 입장은 FY4Q22 당시 데이터센터 매출이 약 42.7%로 게이밍 부문보다 약 2%p 뒤졌던 것과 비교할 때 극적인 변화다. FY1Q23에는 데이터센터 사업부가 매출의 45% 이상으로 게이밍 부문을 추월했으며, 2023년부터 주요 CSP들이 퍼블릭 클라우드 인프라를 위한 ChatBOTS 및 다양한 AI 서비스에 대규모 투자를 진행하면서 NVIDIA는 상당한 혜택을 누렸다. TrendForce는 이러한 견조한 매출 성장의 주요 동인으로 대형 데이터센터의 기반 AI 인프라 역할을 하는 AI 가속 GPU와 AI 서버 HGX 레퍼런스 아키텍처를 포함한 NVIDIA의 데이터센터 AI 서버 관련 솔루션을 꼽는다.

NVIDIA는 클라우드와 엣지 데이터센터 시장을 모두 포괄하기 위해 다단계 GPU 전략을 추진하고 있다. 하이엔드 애플리케이션의 경우, NVIDIA는 데이터센터 관련 매출 성장을 촉진하기 위해 H100 시리즈를 우선시하고 있으나, CoWoS 및 HBM 기술 용량의 제한으로 생산이 제약되고 있다. L40s는 CoWoS 패키징 대신 GDDR 메모리를 사용하는 회사의 플래그십 미들티어 제품으로, 이를 통해 미들티어 AI 서버 시장에 신속하게 출시되어 기업 고객을 위한 A100 PCIe 인터페이스가 남긴 공백을 메우고 있다. L40s는 ChatGPT와 같은 대규모 파라미터 모델이 필요하지 않은 기업 고객을 대상으로 하며, 수십억 개에서 1000억 개 미만 파라미터를 가진 컴팩트한 AI 학습 애플리케이션과 엣지 AI 추론 및 이미지 분석 작업에 중점을 둔다. 저티어 GPU의 경우, NVIDIA는 엣지 AI 서버에서의 실시간 AI 추론이나 이미지 분석을 위해 설계된 L4 또는 T4 시리즈를 강조하며, 높은 비용 효율성을 유지하면서 가격 경쟁력을 갖춘 제품을 제시한다.

NVIDIA는 AI 솔루션의 주력 무기로 HGX 및 MGX AI 서버 레퍼런스 아키텍처를 적극적으로 홍보하고 있으며, Inventec, Quanta, FII, Wistron, Wiwynn 등의 ODM들과 Dell, Supermicro, Gigabyte 등의 브랜드들에게 이러한 레퍼런스 디자인을 따르도록 장려하고 있다. 다만, 이러한 기업들은 해당 AI 서버 레퍼런스 아키텍처에 대해 NVIDIA의 하드웨어 및 소프트웨어 인증 절차를 거쳐야 한다. 이러한 접근 방식을 통해 NVIDIA는 Arm CPU Grace, NPU, AI Cloud Foundation 등을 결합한 통합 솔루션을 번들로 제공하여 판매할 수 있다. TrendForce는 또한 NVIDIA가 VMware와 같은 파트너사와 Private AI Foundation을 포함한 솔루션에서 협력함으로써 엣지 엔터프라이즈 AI 서버 시장으로 진출 범위를 넓히고 있으며, 이는 데이터센터 사업부의 견조한 성장을 뒷받침한다고 지적했다.

ODM 및 OEM에게 있어 2023년부터 2024년까지 CSP들을 대상으로 한 NVIDIA의 AI 서버 시장에서 예상되는 큰 성과는 전반적인 출하량과 매출 성장에 기여할 것이다. 그러나 HGX 및 MGX와 같은 표준화된 AI 서버 아키텍처의 도입은 핵심 제품 아키텍처를 더욱 동질화시켜 CSP 주문을 놓고 치열한 경쟁을 유발할 것이다. Google과 AWS와 같은 대형 CSP들은 향후 자체 ASIC AI 가속 칩 채택을 선호하는 추세이며, 이는 NVIDIA GPU 시장의 일부에 잠재적 위협으로 작용할 수 있다. 이는 NVIDIA가 Tier-2 데이터센터(CoreWeave 등)와 엣지 엔터프라이즈 고객에게 더 aggressively AI 사업을 확장하고자 다양한 포지셔닝의 GPU와 종합 솔루션을 지속적으로 출시하는 이유 중 하나로 보인다.