NVIDIA가 사용자 교체 가능한 컴퓨트 모듈을 활성화하기 위해 차세대 Blackwell B300 GPU의 소켓 모듈식 설계를 검토 중인 것으로 보도되었습니다.

Nvidia는 인공지능 및 HPC 애플리케이션용 향후 Blackwell B300 GPU 중 적어도 일부에 소켓 설계를 도입하는 것을 검토 중이라고 TrendForce의 보고서에 따르면, 이는 Economic Daily News와 MoneyDJ를 인용한 것이다. 회사는 GB300이라는 코드명으로 불리는 제품에 새로운 소켓 설계를 도입할 예정인 것으로 알려졌다. CLSA의 분석가인 Chen Shuowen은 공급망 점검을 바탕으로 "Nvidia는 자사 제품을 위한 GPU 소켓을 설계해 왔으며, GB200 Ultra부터 시작할 수 있다"고 언급했으며, 하나의 Nvidia CPU가 있는 4-way Nvidia GPU 설계를 언급했다.

소켓 설계 도입을 검토하는 동기는 현재 GPU 제조에서의 실질적인 문제에서 비롯되었다. MoneyDJ는 고부하 상황에서 AI GPU의 고장률, 마더보드 교체 비용, 냉각 문제를 고려할 때, Nvidia와 기타 AI GPU 설계자들이 GPU를 마더보드에 납땜하는 대신 다음 세대 GPU에 소켓 설계를 사용하는 것을 검토할 수도 있다고 보도했다. 다만 기술 전문가들은 상당한 단점들을 지적한다: 소켓 설계는 전력과 냉각 문제를 해결하는 데 도움이 되기보다는 오히려 문제를 가중시킬 수 있으며, 가장 전력을 많이 소비하는 GPU는 보통 BGA 패키징을 사용한다. 또한 하나의 CPU 마더보드가 있는 4-way Blackwell GPU는 8-way GPU 베이스보드와 2-way CPU 마더보드를 갖춘 기존 DGX 서버와 비교할 때 특별해 보이지 않는다.

현재 Nvidia의 Blackwell 기반 데이터센터 제품군은 다양한 폼팩터를 사용한다. B200 GPU(1,000W+)는 하나의 Grace CPU와 두 개의 Blackwell GPU가 있는 GB200 보드(코드명 Bianca)와 하나의 Ariel CPU와 하나의 Blackwell GPU가 있는 Ariel에서 사용되며, 모두 BGA 형식이다. Umbriel GPU 보드는 8개의 B200(1000W) 및 B100(700W) SXM 모듈 형식을 지원하며, 코드명 Miranda와 Oberon GB200이라는 추가 플랫폼도 존재한다. 비공식 정보에 따르면, Nvidia는 또한 TSMC의 CoWoS-S 패키징 기술을 사용하여 연결된 4개의 HBM3E 메모리 스택을 가진 모놀리식 B102 프로세서를 기반으로 한 B200A라는 코드명의 제품을 준비하고 있으며, 이는 잠재적으로 여러 폼팩터를 채택할 수 있다.

소켓 설계는 기존 CPU 소켓과 비교할 때 친숙함과 수리 용이성을 제공하지만, 서버 환경에서는 상당한 트레이드오프를 갖는다. SXM과 OAM 모듈은 수리 가능성을 제공하지만 신중한 취급이 필요하며, 애드인 카드, SXM, OAM 모듈은 만들기가 어렵고 비싸다—대부분의 Nvidia SXM 모듈은 현재 Foxconn에서 제조된다. 카드 또는 모듈에서 소켓으로의 마이그레이션은 비용을 절감하지만 성능을 제한한다. Intel의 온보드 HBM이 있는 소켓형 Xeon CPU Max 9480 'Sapphire Rapids'에 대한 경험은 선택된 슈퍼컴퓨팅 애플리케이션을 제외하고는 성공하지 못했으며, 이는 Nvidia의 소켓형 GPU 설계 도입이 유사한 문제에 직면할 수 있음을 시사한다.