Nvidia가 AI 워크로드를 위해 CPU와 GPU를 통합하고 141GB HBM3e 메모리를 탑재한 GH200 Grace Hopper 슈퍼칩을 발표했습니다.

Nvidia는 화요일에 인공지능 및 고성능 컴퓨팅을 위한 HBM3e 메모리가 특징인 차세대 Grace Hopper Superchip 플랫폼의 개선된 버전을 공개했습니다. 새로운 버전의 GH200 Grace Hopper는 동일한 Grace CPU와 GH100 Hopper 컴퓨팅 GPU를 유지하지만, 이전 버전보다 더 높은 용량과 대역폭을 제공하는 HBM3e 메모리를 통합했습니다.

새로운 GH200 Grace Hopper Superchip은 480GB의 ECC LPDDR5X 메모리가 장착된 72코어 Grace CPU를 중심으로 구축되어 있으며, 141GB의 HBM3e 메모리가 있는 GH100 컴퓨팅 GPU와 함께 제공됩니다. HBM3e는 6개의 24GB 스택으로 구성되어 있고 6,144비트 메모리 인터페이스를 사용하지만, Nvidia는 더 나은 수율을 위해 144GB를 물리적으로 설치하고 141GB만 접근 가능하게 합니다.

96GB의 HBM3 메모리를 제공하는 Nvidia의 현재 GH200 Grace Hopper Superchip—초당 4TB 미만의 대역폭 제공—에 비한 성능 개선은 상당합니다. 새로운 모델은 메모리 용량을 약 50% 증가시키고 대역폭을 25% 이상 증가시킵니다. 이러한 개선 사항을 통해 새로운 플랫폼은 원본 버전보다 더 큰 AI 모델을 실행할 수 있으며, 특히 훈련 워크로드에 중요한 뚜렷한 성능 개선을 제공합니다.

가용성과 관련하여, HBM3이 장착된 Nvidia의 GH200 Grace Hopper 플랫폼은 현재 생산 중이며 다음 달부터 상업적으로 이용 가능할 것입니다. HBM3e가 장착된 GH200 Grace Hopper 플랫폼은 현재 샘플링 중이며 2024년 2분기에 이용 가능할 것으로 예상됩니다. Nvidia는 새로운 GH200 Grace Hopper가 원본 버전과 동일한 Grace CPU 및 GH100 GPU 실리콘을 사용하므로 새로운 개정이나 스테핑이 필요하지 않다고 강조했습니다. 두 버전 모두 시장에 공존할 것이며, HBM3e 변형은 더 높은 성능을 감안하여 프리미엄 가격으로 판매될 것입니다.

새로운 플랫폼은 Nvidia의 MGX 서버 사양과 완전히 호환되므로 기존 서버 설계의 즉시 교체 제품입니다. Nvidia의 최고경영자인 Jensen Huang은 다음과 같이 말했습니다. "생성형 AI에 대한 급증하는 수요를 충족하기 위해 데이터 센터는 특화된 요구사항을 갖춘 가속화된 컴퓨팅 플랫폼이 필요합니다. 새로운 GH200 Grace Hopper Superchip 플랫폼은 예외적인 메모리 기술과 대역폭으로 처리량을 개선하고, GPU를 타협 없이 연결하여 성능을 집계하며, 전체 데이터 센터에 걸쳐 쉽게 배포할 수 있는 서버 설계를 통해 이를 달성합니다."