삼성전자는 Hot Chips 2026에서 HBM 베이스 다이 진화 로드맵을 공개하여, 더 효율적인 컴퓨팅 통합을 위한 패키지 면적 활용 최적화를 제시했습니다.

Hot Chips 2026에서 삼성은 “Evolving HBM Base Die”를 발표하며, 하이 밴드위스 메모리의 베이스 다이(기판 다이)를 수동 인터포저에서 고성능 컴포넌트로 전환하려는 전략을 제시했습니다. 본 보고서는 해당 세션을 생중계로 다루었으며, 사소한 오타가 있을 점 양해 부탁드립니다.

HBM은 DRAM 코어 다이를 적층한 상부 구조와 그 아래에 위치한 베이스 다이 간에 워크로드를 분배합니다. 삼성은 적층된 메모리 레이어를 C-die로 지칭하는 반면, 베이스 다이(B-die)는 컴퓨트 다이와의 통신 채널을 확립하는 물리 계층(PHY)과 실리콘 관통 전극(TSV)을 포함합니다. 이러한 스택은 일반적으로 베이스 다이 위에 장착된 4개, 8개, 12개 또는 16개의 C-die로 구성됩니다. 참고를 위해 구조도가 제공됩니다.

HBM의 대역폭과 용량은 inception 이후 꾸준히 성장해 왔습니다. 삼성의 역사적 데이터에 따르면, 초기 HBM 세대의 약 1GB 및 1TB/s에서 HBM5 사양은 60GB 이상 및 6TB/s를 초과합니다. 용량이 증가했지만, 상승하는 대역폭 수요가 베이스 다이의 근본적인 아키텍처 변경을 주도하는 주요 요인입니다.

여러 가지 물리적 제약이 추가 대역폭 스케일링을 제한합니다. 삼성은 C-die 스택과 베이스 다이 모두에서 TSV 개수 및 피치, 그리고 B-die 내장 PHY의 I/O 개수 및 동작 속도의 한계를 지적합니다. 관련 차트는 세대별 피치와 면적 대비 TSV 및 DQ 개수의 스케일링 방식을 보여주며, 아키텍처 압력이 어디에서 강해지는지를 강조합니다.

C-die 제조는 DRAM급 노드를 유지하는 반면, 베이스 다이는 고급 로직 공정으로 전환되고 있습니다. 삼성의 추세 분석에 따르면, B-die는 HBM4부터 시작하여 레거시 로직 노드에서 4nm로 마이그레이션되어 XPU 시스템 온 칩(SoC)과의 공정 격차를 크게 좁혔습니다. 노드 진보에 따라 에너지 효율은 개선되지만, 전체 패키지 전력(MPGA)은 계속 증가하고 있어, 삼성은 HBM4부터 B-die에 고급 로직을 통합하는 것이 필수적임을 강조합니다.

삼성은 HBM4에 D1c DRAM 공정을 4nm 로직 노드와 함께 적용하여 전력 감소와 활성 면적 최소화를 우선시했습니다. 이 조치는 진정한 DRAM과 고급 로직 통합의 시작을 알립니다. 공정 노드에 따른 성능 추이는 로직 노드가 진보함에 따라 TSV-PHY 리피터의 전력 소비와 신호 지연이 모두 감소함을 보여줍니다.

표준 HBM(sHBM)은 B-die를 기본 데이터 라우팅 및 테스트 경로 기능에 국한시킵니다. 반면, 커스텀 HBM(cHBM)은 고급 로직을 활용하여 표준 C-die 스택과의 호환성을 유지하면서 SoC에 가까운 베이스 다이를 구축합니다. 우리는 이전에 Marvell과 같은 비 메모리 벤더들이 탐색한 커스텀 HBM 아키텍처를 살펴본 바 있습니다.

전통적인 스케일링 경로는 물리적 한계에 근접하고 있습니다. 노드 축소 속도는 둔화되고 있으며, 모놀리식 다이는 레티클 한계에 도달하고 있고, 멀티 칩렛 인터포저는 물리적 치수에 의해 제약받습니다. 삼성의 대응책은 B-die의 기존 고급 로직 기능을 활용하여 XPU의 일부 기능을 오프로딩하는 것입니다.

전통적인 sHBM 설계에서 PHY는 베이스 다이에서 가장 큰 면적을 차지합니다. 삼성은 이 전통적인 PHY를 고급 로직 기반의 다이 투 다이(D2D) 인터페이스로 대체하여 물리적 면적을 줄이고, 신호 채널을 단축하며, 에너지 효율을 향상시킵니다. 회수된 실리콘 면적은 비교 바닥면도 레이아웃에서 입증된 바와 같이 XPU 확장을 가능하게 합니다.

HBM2부터 sHBM4까지 PHY 면적과 채널 깊이는 더 높은 대역폭을 지원하기 위해 지속적으로 확장되었습니다. 고급 로직은 HBM4부터 HBM5에 걸쳐 더 많은 출력을 컴팩트한 면적에 집중함으로써 PHY 및 D2D 영역 요구 사항을 급격히 줄입니다. 짧은 채널은 비트당 에너지를 줄이지만, 결과적으로 증가하는 전력 밀도는 국소적인 열 핫스팟을 유발합니다.

이러한 열 압력을 해결하기 위해 삼성은 cHBM4 설계의 통찰력을 바탕으로 개발된 Heat Path Block(HPB)을 제안합니다. PHY 커버리지를 50% 이상 달성하면 피크 온도를 35% 이상 낮출 수 있는데, 이는 sHBM4E에서 sHBM5로 넘어가면서 I/O 속도가 약 두 배가 되고 전력 밀도가 0.5 W/mm²에서 2.0 W/mm² 이상으로 상승함에 따라 중요한 개선 사항입니다.

충분한 공간이 확보되면 삼성은 메모리 컨트롤러를 주요 대상으로 삼아 XPU 로직을 베이스 다이로 마이그레이션하기 시작합니다. 메모리 컨트롤러를 이전하면 귀중한 XPU 실리콘이 확보되며, 삼성은 관련된 열 영향이 관리 가능한 수준이라고 언급합니다. 업계에서는 이미 기존의 HBM 메모리 컨트롤러를 cHBM 아키텍처로 포팅하기 위한 노력이 진행 중입니다.

베이스 다이에 SRAM을 통합하면 신뢰성도 향상됩니다. 삼성의 SRAM 기반 셀 수리 메커니즘은 그렇지 않으면 유휴 상태일 B-die 공간을 활용하여 실패한 셀 주소를 미세한 정밀도로 디코딩하고 리디렉션하며, 수리 용량을 여러 채널에 분산합니다. C-die 내 제한된 예비 자원에 의존하는 기존 접근 방식과 비교할 때, 이 방법은 B-die에서 훨씬 더 크고 유연한 수리 자원을 제공합니다.

이 진화의 제1단계는 상당한 실리콘 용량이 미사용 상태로 남습니다. 전체 HBM footprint는 주로 C-die 스택에 의해 결정되며, 대부분의 sHBM 베이스 다이가 수동 라우팅으로 구성되어 있기 때문에, 메모리 컨트롤러를 이전한 후에도 상당한 부지가 남아있습니다. 이 미사용 B-die 영역은 제2단계의 확장된 기능의 기초를 형성합니다.

커스텀 HBM은 표준 HBM에는 없는 기능을 베이스 다이에 직접 통합하여 SoC 수준의 신뢰성, 가용성 및 서비스성(RAS) 기능을 도입합니다. 삼성은 실시간 텔레메트리를 위한 온도, 전압, 공정 및 노화 센서를 통합하고, 온칩 자동 테스트 장비(ATE) 및 패턴 생성기와 같은 온칩 셀프 테스트 메커니즘을 구현합니다. 이러한 향상된 기능은 테스트 커버리지와 제조 수율을 개선하며, cHBM 아키텍처를 sHBM과 명확히 구분합니다.

용량 요구사항은 대역폭 성장과 비슷한 속도로 확대되고 있습니다. 삼성은 컨텍스트 윈도우가 매년 약 30배씩 증가하고 있음을 강조하며, 이는 KV 캐시 메모리에 대한 막대한 수요를 촉진합니다. 결과적으로 장기 메모리 저장 및 검색은 차세대 AI 모델의 핵심 병목 현상으로 부상했으며, 이는 AI SoC 개발이 대역폭뿐만 아니라 더 높은 용량 방향으로 나아가도록 추진하고 있습니다.

용량을 증강하는 한 가지 방법은 외부 메모리를 베이스 다이에 직접 연결하는 것입니다. 삼성은 B-die의 외곽 둘레를 활용하여 칩에 직접 통합된 전용 PHY와 컨트롤러를 통해 외부 메모리를 부착합니다. 이 구성은 기존 PCIe 기반 확장 솔루션보다 더 높은 대역폭과 낮은 지연 시간을 제공합니다.

삼성 또한 베이스 다이에 연산 작업을 오프로딩할 기회를 식별합니다. B-die에 통합된 처리 요소는 XPU SoC의 부분 워크로드를 처리하여 다이 투 다이 대역폭 요구 사항을 줄이고 전체 전력 및 열 오버헤드를 낮출 수 있습니다. 그러나 제한된 실리콘 면적과 이러한 처리 요소로 인한 상승하는 열 밀도는 여전히 주요 엔지니어링 과제입니다.

처리 요소를 베이스 다이에 통합함으로써 삼성은 tighter 2.5D 시스템 아키텍처로 나아갑니다. Advanced HBM(aHBM)은 임베디드 처리 요소로 XPU 연산을 오프로딩하여 인터포저를 통한 데이터 이동을 최소화합니다. 삼성은 이로 인한 전력 효율성 향상을 시스템 수준의 돌파구로 특징짓습니다.

제3단계는 인터포저를 완전히 벗어나는 것입니다. 삼성은 업계가 엄격한 전력 환경 내에서 초당 토큰 수를 최대화하는 것이 추론 과제를 정의하는 tightly coupled AI 메모리 아키텍처로 전환되고 있다고 주장합니다. zHBM은 XPU와 C-die 스택의 진정한 3차원 수직 통합을 통해 이러한 요구사항을 충족하며, 효과적으로 2.5D 인터포저를 제거합니다.

zHBM은 HBM의 물리적 아키텍처를 근본적으로 변화시킵니다. 분산된 입출력 인터페이스는 내부 데이터 이동 거리를 단축시키고, 진정한 3차원 구조는 HBM PHY 및 D2D 링크와 같은 기존 2차원 인터페이스를 제거합니다. 이 배열은 초저전력 소비를 달성하도록 특별히 설계되었습니다.

전력 효율성은 zHBM의 주요 장점입니다. SERDES 회로 및 데이터 정렬 오버헤드를 제거함으로써 I/O 전력 소비가 극적으로 감소합니다. 삼성의 시스템 수준 추정치에 따르면, 단일 패키지 모듈 내에 4개의 zHBM 스택과 1,200와트 GPU를 배포하면 상당한 대역폭 증가를 달성하면서도 약 100와트의 전력을 절약할 수 있습니다.

zHBM 실현은 웨이퍼 온 웨이퍼 본딩과 하이브리드 구리 본딩이라는 두 가지 기초 기술에 의존하며, 이는 초고밀도 I/O를 가능하게 합니다. 삼성은 성공적인 공동 아키텍처 개발을 위해 통합된 시스템 온 칩 및 DRAM 설계 및 검증 흐름이 필수적임을 강조합니다. 참조된 도표는 웨이퍼 온 웨이퍼 본딩 시퀀스와 DRAM C-die 및 XPU를 공동 개발하는 통합 설계 워크플로우를 개요로 보여줍니다.

삼성은 명확한 3단계 로드맵을 제시하며 결론을 맺습니다. 베이스 다이에 고급 로직을 적용하면 제1단계에서 기능 오프로딩과 최적화를 가능하게 하는 아키텍처 유연성이解锁되고, 제2단계에서 기능이 확장되며, 제3단계에서 zHBM을 통한 진정한 3차원 통합으로 수렴됩니다. XPU 영역을 회수하여 궁극적으로 인터포저를 제거하기까지의 이러한 구조화된 진행 과정은 삼성이 HBM 베이스 다이 진보를 위한 확정적인 미래 경로로 positioning하는 것입니다.

종합하면, 이러한 발전들은 삼성이 HBM 베이스 다이를 어떻게 재정의하고 있는지 보여줍니다. 더 이상 수동 인터포저가 아닌 베이스 다이는 코프로세서로 진화하며, AI 시스템 내에서 메모리와 로직이 설계되는 방식을 근본적으로 변화시키고 있습니다. 메모리 컨트롤러와 eventually 처리 요소를 HBM으로 마이그레이션하면 가속기 벤더에게 실리콘을 위한 새로운 기판을 제공합니다. zHBM은 아직 먼 미래의 기술이지만, 이는 DRAM 바로 위에 컴퓨트를 적층하고 인터포저를 완전히 버리는 방향으로 향하는 명확한 산업 궤적을 시사합니다. successive HBM 세대가 생산에 도달함에 따라 시스템 아키텍처 담당자는 이 변화를 주의 깊게 모니터링해야 합니다. Hot Chips 2026에서 인상적인 발표였습니다.