마이크론은 Hot Chips 2026에서 인공지능 워크로드에 맞춘 진화하는 메모리 아키텍처를 공개하며 현재 패키징 기회를 강조했다.

인공지능(AI)에 맞춰 진화하는 메모리 아키텍처에 대한 비전을 제시한 마이크론은 AI 시스템 설계의 중심에 하이밴드위스 메모리(HBM)와 고급 패키징이 자리 잡았다고 강조했다.

마이크론의 발표는 언어 모델 확장에서 메모리가 핵심적인 역할을 하게 된 배경을 설명하기 위해 오픈AI의 컴퓨팅 효율성 프론티어를 맥락으로 제시하며 시작되었다. 회사는 모델 크기, 데이터셋 크기, 학습 컴퓨팅 사이의 멱법칙 관계를 지적하며, 대규모 언어 모델 성능 향상을 위해서는 이 세 요소가 모두 함께 성장해야 한다고 주장했다. 메모리는 이러한 요소들을 연결하는 중요한 자원이다. 마이크론은 “메모리 벽” 문제를 해결하기 위해 AI 가속기의 TFLOPS가 약 2년마다 약 3배씩 증가하는 반면, HBM과 같은 2.5D 부착 메모리의 대역폭은 동일한 기간 동안 그 속도의 절반 미만으로만 증가한다고 지적했다. 이러한 격차의 확대로 인해 메모리 기술은 AI 시스템 성능을 제한하는 주요 병목 현상이 되었다.

마이크론은 HBM을 필수적인 컴퓨팅-메모리 브리지로 규정하며, HBM2e부터 HBM5까지 세대별로 큐브 용량, 대역폭 및 에너지 효율성이 상승하는 추세를 추적했다. 현대 가속기의 물리적 크기를 보여주기 위해 회사는 베이스 다이와 8개의 HBM4 인스턴스를 고려할 때 일반적인 GPU 패키지가 12,000제곱밀리미터를 초과함을 보여주었다. 12층 HBM4 구성의 경우, 메모리 실리콘은 GPU 다이 자체 표면적의 8배 이상을 차지할 수 있다. HBM은 메모리 대역폭 상한선을 높여 운영 경계를 변화시키며, 이는 메모리 집약형 AI 워크로드가 용량 한계에 도달하기 전에 더 빠르게 실행될 수 있도록 한다.

발표에서는 HBM의 아키텍처 진화에 대해 자세히 다루었으며, HBM1부터 HBM4까지 제품 로드맵을 추적했다. 각 세대는 더 큰 대역폭과 용량을 제공하기 위해 데이터 속도, 의사 채널 및 스택 높이를 증가시킨다. 표준 ECC RDIMM과 달리 HBM은 시스템 패키지(SiP)로서 이종 시스템에 직접 통합된다. 각 DRAM 다이 내부에서는 여러 독립적인 채널이 작동하며, 채널당 두 개의 의사 채널을 가진다. HBM3E는 다이당 128개의 뱅크를 특징으로 하는 반면, HBM4는 이를 256개로 두 배로 늘린다. 호스트 프로세서와 DRAM 스택 사이에는 베이스 다이가 위치하며, 호스트 측에는 마이크로범프 PHY가, 스택 연결에는 3D TSV PHY가 사용된다. 이러한 구성 요소들은 HBM3E에서 1K I/O에서 HBM4에서 2K I/O로 확장되는 고밀도 포인트 투 포인트 인터포저 연결을 통해 통신한다.

마이크론은 본질적인 성능과 용량 간의 트레이드오프를 개요로 제시했으며, PCB 면적 및 전력 소비와 관련된 특정 지표는 향후 논의에 미루기로 했다. 또한 회사는 이러한 속도를 달성하기 위한 실리콘 비용을 강조했는데, 디자인 아키텍처, 고급 패키징 및 제조 복잡성의 결합된 오버헤드는 DDR5 대비 동등한 HBM3E 용량을 제공하기 위해 약 3배의 실리콘을 소비한다. 지속적인 AI 혁신을 지원하기 위해 마이크론은 성능, 용량 및 전력 효율성 측면에서의 발전을 강조했다. 더 빠른 I/O 링크와 더 큰 인터포저는 여전히 SiP 개발을 주도하고 있으며, 여기에는 메모리 최적화된 SERDES, 다이 투 다이 PHY 및 공동 패키징 광학 장치가 포함된다. 패키징 로드맵에는 CoWoS-L 및 CoWoS-R과 같은 더 큰 SiP 폼 팩터와 함께 부상하는 글래스 서브스트레이트도 포함되어 있다.

신뢰성과 RAS(가용성, 신뢰성, 서비스성) 문제는 칩-패키지 상호작용에 초점을 맞추어 다루어졌다. 이종 통합 HBM 장치 내 재료 간 열팽창 계수 불일치는 상당한 열기계적 응력을 발생시키는데, 이는 Cerebras의 웨이퍼 스케일 엔진 개발 당시에도 경험했던 과제였다. ECC 커버리지는 이제 두 레이어에 걸쳐 확장된다: HBM3부터 시작하여 시스템 레벨에서 256비트 액세스당 16개의 메타 비트를 제공하고, 다이 내부에서는 심볼 기반 리드-솔로몬 ECC가 이를 보완한다. 열 관리는 여전히 매우 중요한데, 증가된 DRAM 활동, 더 높은 스택 및 향상된 베이스 다이 기능으로 인해 상당한 열이 발생하기 때문이다. 마이크론은 대역폭과 용량 스케일링을 지속하기 위해 필요한 주요 혁신으로 액체 냉각, 하이브리드 본딩, 솔더 및 사이드 몰딩 화합물의 수정을 꼽았다.

종합적으로 이러한 발전들은 막대한 메모리 어레이를 컴퓨팅 유닛 옆에 배치할 때 패키징, 열 및 신뢰성 제약 조건과 확장된 HBM 대역폭 및 용량 사이의 균형을 맞추려는 마이크론의 접근 방식을 보여준다. 산업 전반의 HBM 전환과 AI 데이터센터의 급증하는 수요는 현재 메모리 공급 부족을 주도하고 있다. 마이크론이 순수 용량 확대를 넘어 고급 패키징 및 시스템 수준 통합으로 초점을 넓혀감에 따라, HBM 대역폭, 실리콘 비용, 열 성능 및 신뢰성 간의 트레이드오프는 다가올 세대의 가속기 설계를 결정할 것이다. 이 환경은 전용 메모리 컨트롤러와 컴퓨팅 요소를 통합한 베이스 다리를 갖춘 맞춤형 HBM 구성을 포함한 추가 혁신의 토대를 마련한다.