마이크론은 컴퓨팅 성능이 HBM 대역폭보다 2년마다 3배씩 빠르게 성장하고 있다며, 첨단 패키징 및 열 관리 공정에 대한 긴급 투자를 촉구하고 있다.

마이크론은 차세대 고대역폭 메모리(HBM)의 기본 원리, 현대 시스템에서의 핵심 역할, 기존 DDR 대비 성능, 그리고 급증하는 AI 워크로드를 충족하기 위해 지속적인 혁신이 필요한 시급한 과제들을 살펴봅니다.

인공지능 대규모 언어 모델(LLM)이 지속적으로 진화함에 따라, 이들의 지속적인 확장 및 정교화를 위해 고급 메모리 기술이 필수적이 되었습니다. 그러나 메모리는 주요 병목 현상으로 부상하여 전체 AI 시스템 성능을 점차적으로 제약하고 있습니다.

HBM은 현재 선도적인 AI 가속기에서 지배적인 DRAM 아키텍처로 자리 잡고 있습니다. 일반적인 AI 시스템에서는 처리 시간의 상당 부분이 데이터 대기 시간에 할애되며, 이로 인해 많은 연산이 계산 중심(compute-bound)이 아닌 메모리 중심(memory-bound)으로 작용합니다. 충분한 데이터가 로드되면 시스템은 프로세서가 완전히 활용되는 계산 중심 단계로 전환됩니다. HBM은 메모리 대역폭 상한선을 높여줌으로써, 처리량 한계에 부딪히기 전에 메모리 집약적 AI 워크로드가 더 높은 성능 수준을 유지할 수 있도록 합니다.

Hot Chips 2026에서 마이크론의 프레젠테이션 동안, HBM 설계 아키텍처 펠로우 라구 스레라마넨니(Raghu Sreeramaneni)는 회사가 '메모리 웰(Memory Well)'이라고 부르는 개념에 대해 설명했습니다. 마이크론에 따르면, 컴퓨팅 성능은 2년마다 3배씩 성장하는 반면, 메모리 성능은 같은 기간 동안 2배 미만으로 향상되고 있습니다. 현재 산업계는 2.5D 부착 메모리, 2.5D 고급 메모리, 그리고 메모리 내 연산(PIM) DRAM이라는 세 가지 주요 메모리 아키텍처에 의존하고 있습니다.

프레젠테이션의 주요 시사점은 AI 개발 가속화가 고급 메모리 솔루션을 필요로 하며, 이 과정에서 HBM이 중심적인 역할을 한다는 것입니다. 그러나 기존 HBM은 근본적인 트레이드오프에 직면해 있습니다: DRAM당 밀도가 증가할수록 에너지 효율성(pJ/bit 기준)이 저하된다는 점입니다. 이를 해결하려면 산업계가 파괴적인 공정 및 패키징 기술을 채택하고, GPU 오프로딩을 지원하며 사용자 정의 아키텍처 기능을 가능하게 하는 고급 디바이스-투-디바이스(D2D) PHY 능력을 갖추어야 합니다.

마이크론은 현재까지 가장 고성능인 HBM4를 출하하고 있습니다. 이는 최대 2,800 GB/s의 대역폭을 제공하며, 입출력(IO) 개수를 두 배로 늘리고 HBM3E 대비 채널 수도 두 배로 확대했습니다. 세대별로 진행될수록 HBM은 데이터 레이트, 의사 채널(pseudo-channels), 밀도 및 스택 높이에서 지속적인 개선을 보이고 있습니다.

HBM의 기본 아키텍처는 세대를 거쳐 일관되게 유지되지만, 각 반복(iteration)마다 점진적인 정교함이 도입됩니다. HBM 설계는 여러 독립적인 채널을 포함하는 수직 적층 DRAM 다이로 구성됩니다. 각 채널은 공유 명령/주소 버스와 독립적인 데이터 버스를 특징으로 하는 두 개의 의사 채널로 이루어져 있습니다.

적층 다이 아래에는 호스트 시스템과 DRAM 레이어 간 명령 및 데이터 라우팅을 관리하는 베이스 다이(base die)가 위치합니다. 베이스 다이에는 호스트와 인터페이스하기 위한 마이크로범프 PHY와 DRAM 스택을 베이스 다이와 전기적으로 연결하는 3D 실리콘 관통 비아(TSV) PHY가 포함되어 있습니다. 이러한 수직 상호 연결 구조는 HBM 패키지 전체 높이에 걸쳐 확장됩니다. 마지막으로, HBM 큐브는 매우 밀집된 단거리 점대점(point-to-point) 연결을 통해 실리콘 인터포저에 부착되며, HBM4는 이 인터페이스에 2,000개의 IO를 사용합니다.

기존 DDR 기반 DRAM과 비교할 때, HBM은 GPU에 여러 스택으로 배포될 때 훨씬 더 높은 시스템 대역폭을 제공합니다. DDR 구성은 총 용량 측면에서 더 클 수 있지만, 기판 면적을 훨씬 더 많이 차지합니다. 반면 HBM은 GPU 바로 옆에 직접 장착되어, DDR의 특징인 초단위 기가바이트(Gigabyte) 범위가 아닌 초단위 테라바이트(Terabyte) 범위의 대역폭을 제공합니다. 두 기술 간의 성능 격차는 극명합니다. DDR5는 일반적으로 약 300 GB/s의 대역폭을 제공하며(최대 1 TB/s까지 확장 가능), HBM을 사용하는 표준 GPU 구성은 약 5.3 TB/s의 대역폭을 달성하여 15~17배의 우위를 점합니다. 반대로 DDR5는 여러 DIMM에 걸쳐 수백 기가바이트의 용량을 지원하는 반면 HBM은 약 200 GB 정도만 지원하므로 용량 측면에서 우위를 점하며, HBM의 용량은 약 5배 낮습니다. HBM은 훨씬 뛰어난 병렬성으로 이를 보완하는데, HBM3E는 다이당 128개, HBM4는 256개의 뱅크를 갖는 반면 DDR5는 32개입니다. 이 아키텍처 덕분에 HBM3E의 다이당 대역폭은 약 256 GB/s로, DDR5의 약 8 GB/s보다 약 32배 높습니다. 그러나 동일한 밀도를 달성하려면 추가 데이터 경로와 전력 공급을 수용하기 위해 HBM이 약 3배 더 많은 실리콘 면적을 필요로 합니다. 에너지 효율성 측면에서 HBM은 특히 순차적 AI 접근 패턴 동안 전송된 비트당(pJ/bit) 전력 소비가 낮아 DDR5보다 현저히 효율적입니다.

이러한 장점에도 불구하고 HBM은 주목할 만한 단점을 지니고 있으며, 그중에서도 열 관리가 가장 큰 문제입니다. 스택 밀도와 높이가 증가함에 따라 열 방출 문제는 더욱 심각해집니다.

마이크론은 이러한 제약을 해결하기 위해 표적화된 열 혁신이 필요하다고 강조합니다. 핵심 문제는 절대 전력 소모보다는 극도의 전력 밀도에 기인합니다. 베이스 다이는 대부분의 고급 로직 및 PHY 회로를 housed하고 있어 열 스트레스의 대부분을 견뎌내며, 스택 높이를 증가시키면 다이 활동과 열 집중이 더욱 증폭됩니다. 액체 냉각 및 하이브리드 본딩과 같은 산업계의 접근 방식이 부분적인 완화를 제공하지만, 마이크론은 이러한 열 병목 현상을 체계적으로 완화하도록 설계된 차세대 고급 패키징 기술을 적극적으로 개발 중입니다.

이러한 혁신 중 하나는 퓨전 본딩(fusion bonding)으로, 단일 숫자 미크론 해상도로 극도로 좁은 상호 연결 피치를 가능하게 합니다. 이 접근 방식은 패키지를 통한 데이터 처리량을 크게 증가시키는 동시에 적층된 DRAM 다이 사이의 유전체 층 수를 줄여 열 저항을 낮추고 열 방출을 개선합니다.

동시에 마이크론은 메모리 최적화 SerDes 아키텍처를 중심으로 차세대 고속 IO 설계를 엔지니어링하고 있습니다. 회사는 또한 현재 16다이 높이를 넘어선 HBM 스택 확장의 실현 가능성을 탐구하고 있으나, 이러한 구성이 상업적으로 실현되기 전에 상당한 엔지니어링 장벽이 남아 있음을 인정하고 있습니다.

HBM은 정교한 수직 적층, 극한의 병렬성, 그리고 고급 패키징을 통해 exceptional한 대역폭, 밀도 및 에너지 효율성을 제공함으로써 현대 AI 인프라의 없어서는 안 될 기초로 확고히 자리 잡았습니다. 이는 기존 DDR 아키텍처가 복제할 수 없는 능력입니다. 그럼에도 불구하고 향후 로드맵은 여전히 복잡합니다. 지속적인 메모리 월(memory wall) 극복을 위해서는 복잡한 열 역학, 신뢰성 제약, 칩-패키지 상호작용, 그리고 점점 더 높아지는 스택의 물리적 한계를 넘나들어야 합니다. 이러한 궤적을 지속하려면 지속적인 학제간 혁신이 요구됩니다. AI 워크로드가 점점 더 까다로워지고 컴퓨팅과 메모리 간의 전통적인 경계가 계속 무너지면서, 이러한 과제를 해결하고 용량과 성능을 확장하며 글로벌 컴퓨팅을 근본적으로 재편하고 있는 빠른 발전을 보존하기 위해서는 산업 전반의 협력이 필수적입니다.