엔비디아의 Kyber GPU 랙은 340.4 TB의 HBM을 탑재하며, HBM4E는 $19.76/GB로, 완성된 랙은 각각 $41.6 million으로 가격이 책정된다.
NVIDIA의 차세대 Vera Rubin Ultra 시스템은 마진을 유지하려는 회사의 노력 속에서 HBM 사양 축소에 대한 지속적인 루머에 직면해 있습니다. Bank of America는 최근 이러한 새로운 Vera Rubin Ultra 기반 Kyber 랙 내 HBM4E와 LPDDR5X 기반 SOCAMM2 모듈 간의 역학을 정량화하는 분석을 발표했습니다.
각 기본 Rubin GPU는 현재 8개 스택에 걸쳐 288 GB의 HBM4를 포함하며, GPU당 최대 22 TB/s의 대역폭을 제공합니다. 한편 Vera CPU는 표준 서버 RDIMM을 포기하고 LPDDR5X 기반 SOCAMM2 모듈을 채택했습니다. 이 모듈은 마더보드에 납작하게 안착하는 압축 커넥터를 사용하여 전기 경로를 단축하고, LPDDR5X에 데이터센터 운영에 필요한 신호 무결성과 낮은 지연시간을 제공합니다. 각 Vera CPU는 8개의 SOCAMM2 슬롯을 갖추고 있으며, 192 GB 모듈을 통해 CPU당 이론적으로 1.5 TB의 LPDDR5X 메모리 용량을 제공합니다.
Bank of America에 따르면 HBM4E의 비용은 기가바이트당 $19.76입니다. 각 144-GPU Kyber 랙은 약 $2.8백만의 216 TB LPDDR5X를 포함하며, 약 $2.5백만의 124.4 TB HBM4E와 함께 제공됩니다. Kyber 랙당 총 가격은 $41.6백만에 도달합니다. BofA는 HBM 용량과 가격이 상승하고 있음에도 불구하고, HBM은 랙 경제에서 Blackwell Ultra 시스템의 7.5%에 비해 5–6%의 가치로 상대적으로 겸손한 구성 요소임을 지적합니다.
UBS는 Vera Rubin 슈퍼칩 구성 내 각 Rubin GPU의 비용을 HBM4, 패키징, 인터포저 및 주변 기기를 포함하여 $9,247로 추정합니다. 각 Vera CPU는 SOCAMM2 LPDDR5X를 포함하여 약 $20,059의 비용이 들며, 다른 보드 구성 요소의 경우 $350이 추가됩니다. DRAM은 GPU 비용의 약 절반과 CPU 비용의 거의 전부를 차지합니다(메모리를 제거한 후 $704에 불과함).
Blackwell 서버(Grace CPU가 480 GB의 메모리를, Blackwell GPU가 192 GB(GB200) 또는 최대 288 GB(GB300)의 HBM3E를 탑재했던)와 비교하면, 메모리 풀이 상당히 확대되었습니다. Vera Rubin 랙은 HBM4와 SOCAMM2에 걸쳐 총 74.7 TB의 메모리를 포함합니다. Kyber 랙의 경우, 이 용량은 340.4 TB로 증가합니다.