AMD와 Qualcomm, AI 가속기용 첨단 칩렛 기반 패키징 기술 공개...열 밀도·비용 감소
AMD와 Qualcomm은 각각의 목표 시장에서 대역폭 병목을 해결하기 위해 설계된 새로운 메모리 패키징 기술을 도입했습니다.
AMD는 산업용 애플리케이션을 위해 Versal Premium Gen 2 Memory on Package (MoP) 라인을 공개했으며, 이는 DRAM과 시스템 온 칩(SoC)을 단일 패키지에 통합합니다. Qualcomm은 AI 서버를 목표로 하는 2.5D 유사 메모리 기술인 High Bandwidth Compute (HBC)를 출시했습니다. 이러한 기술들은 서로 다른 시장 세그먼트를 공략하지만, 둘 다 감소된 지연시간으로 더 빠른 데이터 전송을 가능하게 하며, 특히 고대역폭 메모리(HBM)와 비교하여 우월성을 주장합니다.
**패키징 이해하기**
반도체 제조에서 칩이 제조되면, 가공된 칩을 IC 패키지(칩 성능을 향상시키기도 하는 보호 외함)로 조립하는 패키징 시설로 이동합니다. 패키징 회사들은 자동차, 통신, 컴퓨팅, 산업 및 점점 더 AI 시스템에 이르기까지 특정 애플리케이션에 맞춰진 다양한 패키지 유형을 제공합니다.
AI 데이터 센터에서 시스템은 일반적으로 가속기나 GPU와 같은 강력한 AI 칩을 2.5D 패키지의 HBM과 함께 통합합니다. HBM은 8개, 12개 이상의 DRAM 다이를 through-silicon via (TSV)라고 불리는 작은 수직 배선으로 연결하여 수직으로 적층합니다. 이 아키텍처는 1024비트 메모리 버스를 사용하여 메모리와 AI 칩 간의 고속 데이터 전송을 가능하게 합니다.
Micron, Samsung, SK Hynix가 주요 HBM 공급업체입니다. 하지만 DRAM은 공급이 매우 제한적이며 가격이 상승하여 HBM의 가용성을 제약합니다. TSMC의 CoWoS 2.5D 패키징 기술은 AI 칩 패키징에 광범위하게 사용되지만 유사한 공급 압력에 직면하고 있습니다. DRAM은 2027년 이후에도 계속 부족할 것으로 예상됩니다.
**Qualcomm의 HBC 솔루션**
Qualcomm은 AI 데이터 센터용 Dragonfly 칩(C1000 CPU, AI300 추론 가속기 및 맞춤 실리콘)과 HBC 기술을 함께 도입했습니다. HBC는 AI 칩을 2.5D 패키지에 배치하고 LPDDR DRAM 다이를 적층하여 나란히 배치하며, 종래의 2.5D HBM 구성과 유사하지만 대체 메모리를 사용합니다.
Qualcomm은 HBC가 HBM 대비 와트당 대역폭 6배 증가와 SRAM 대비 와트당 용량 200배 증가를 제공한다고 주장합니다. Jon Peddie Research의 회장인 Jon Peddie는 "HBC는 가속기 로직을 3D 적층 DRAM과 긴밀하게 결합된 패키지에서 결합합니다"라고 언급했으며, 이를 "메모리 중심의 가속기 아키텍처"로 설명하면서 "데이터를 컴퓨팅과 더 가깝게 유지하고, 외부 인터페이스를 통한 이동을 줄이며, 대역폭 효율성을 개선합니다"라고 했습니다.
Peddie는 광범위한 호소력을 강조했습니다: "Qualcomm의 HBC 접근 방식은 메모리 대역폭, 패키징, 전력을 시스템 설계의 중심에 놓습니다. 하이퍼스케일러와 엔터프라이즈가 총 비용, 소프트웨어 이식성 및 공급 복원력을 통해 AI 랙을 평가할 때 변곡점이 나타납니다. Qualcomm이 성공한다면, AI 데이터 센터는 더 다양한 아키텍처를 지원할 수 있고 단일 소프트웨어-하드웨어 모델에 대한 의존성을 줄일 수 있습니다." 남은 주요 질문에는 패키징, 열 관리, 수율, 수리, 인터커넥트 토폴로지 및 컴파일러 가시성이 포함됩니다. AI250 데이터 센터 랙을 통한 HBC Gen 1의 상용 샘플링은 2027년 중반에 예상됩니다.
**AMD의 Memory on Package**
AMD의 Versal Premium Gen 2 MoP는 최대 32GB의 LPDDR5X DRAM을 Versal SoC 옆에 통합하여 최대 288GB/s의 대역폭을 최대 60% 적은 보드 면적에서 제공합니다. AMD는 JEDEC 호환 LPDDR5X 장치를 패키지 기판에 배치하며, 짧은 상호연결 거리는 보드 설계 및 신호 무결성을 단순화하면서 메모리 인터페이스 설계 및 검증 작업을 수개월 단축할 수 있습니다.
내장형 및 산업용 애플리케이션을 목표로 하는—특히 테스트 및 측정, 전문 비디오 편집 및 VPX 시스템(항공우주, 방위 및 산업용 애플리케이션에 사용되는 견고하고 고성능 컴퓨팅 표준)—AMD의 MoP는 15년 이상의 지원을 제공하여 제품 로드맵을 데이터 센터 주도의 짧은 HBM 새로고침 주기로부터 보호합니다.