HBC와 HBF 메모리 기술이 HBM의 차세대 후속 기술로 부상하며 용량 제약을 해결함.
글로벌 반도체 산업은 AI 시대의 핵심 메모리 아키텍처가 된 'High Bandwidth Memory'(HBM)의 후속 기술 개발을 위해 경쟁하고 있습니다. DRAM을 수직으로 적층하여 데이터 처리 속도를 극대화하는 HBM은 AI 학습 작업의 중심 역할을 해왔습니다. 그러나 배포된 모델이 실시간 쿼리에 답하는 AI 추론에 대한 수요가 증가함에 따라, 업계는 전력 효율과 데이터 이동 감소를 우선시하는 차세대 표준을 정의하기 위해 경쟁하고 있습니다.
Qualcomm은 최근 AI 연산 전용 가속기 위에 저전력 DRAM(LPDDR) 칩 여러 개를 적층한 메모리 설계인 'High Bandwidth Compute'(HBC)를 공개했습니다. 전통적인 HBM이 GPU와의 지속적인 데이터 교환으로 막대한 전력을 소비하는 것과 달리, HBC는 메모리 근처에서 연산의 일부를 처리하고 필수 결과만 전송합니다. Qualcomm은 HBC가 HBM보다 와트당 대역폭이 6배 높다고 주장합니다.
NVIDIA는 'SOCAMM'(Small Outline Compression Attached Memory Module)이라는 다른 접근 방식을 취했습니다. 이는 서버 환경에 맞게 조정된 모듈식 LPDDR 기반 설계입니다. SOCAMM은 스마트폰 메모리의 효율성 이득을 활용하면서도 기존 서버 DRAM 대비 우수한 전력 효율을 제공합니다. NVIDIA의 차세대 GPU인 Rubin은 HBM4를 유지하지만, CPU인 Vera는 Samsung Electronics와 SK Hynix가 공급하는 SOCAMM2를 채택할 예정입니다.
'High Bandwidth Flash'(HBF)는 완전히 다른 패러다임을 대표합니다. DRAM을 적층하는 대신, HBF는 전원 없이도 데이터를 유지하는 비휘발성 저장소인 NAND 플래시 메모리를 적층합니다. DRAM보다는 느리지만, NAND는 훨씬 높은 용량을 낮은 비용으로 제공하므로 서버 근처에서 자주 접근하는 대량의 AI 데이터를 저장하기에 적합합니다. HBM이 빠른 접근 작업대 역할을 한다면, HBF는 근처의 저장소 역할을 합니다. SanDisk가 HBF 표준화 노력을 주도하고 있으며, SK Hynix가 참여하고 있습니다.
Intel과 CaiMemory(SoftBank 자회사)는 HBM 대체제로 'Z-Angle Memory'(ZAM)를 개발하고 있습니다. HBM처럼 ZAM은 DRAM을 수직으로 적층하지만, 직선 채널이 아닌 비스듬한 각도로 데이터 경로를 라우팅하여 전력 소비와 발열을 줄입니다.
병행하는 연구 방향은 'Processing-in-Memory'(PIM)를 탐색하고 있으며, 이는 연산 함수를 메모리 반도체에 직접 통합하여 메모리 내에서 데이터에 대한 부분 계산을 수행할 수 있게 합니다. Samsung Electronics와 SK Hynix는 LPDDR 기반 PIM 구현을 발전시키고 있습니다.
반도체 업계 전문가에 따르면, HBM 중심 학습에서 추론 중심 시스템으로의 전환이 메모리 아키텍처를 재편하고 있습니다. "HBM이 AI 학습 시대의 핵심 메모리였다면, 추론 시대는 전력 효율과 데이터 이동 최소화를 우선시합니다. 차세대 HBM은 단일 메모리 표준이 아니라 데이터를 덜 이동시키고 더 가까이에서 처리하는 전체 시스템을 설계하는 경쟁에서 나타날 것입니다."