반도체·하드웨어 · 리포트

삼성전자는 Hot Chips 2026에서 LPDDR5X-PIM 처리 인 메모리 솔루션의 더 정교한 차세대 버전을 공개했다.

현재 HBM 한계를 초과하는 학습 및 추론 워크로드에 필수적인 고대역폭 메모리 아키텍처의 채택을 가속화합니다.

업계 전문지Slicast · August 26, 2026 · 글로벌 · 출처: ServeTheHome

중요도 72

삼성전자는 Hot Chips 2026에서 LPDDR5X-PIM을 발표하며, AI 추론에 특화된 LPDDR5X DRAM 기반의 메모리 내 처리(PIM) 솔루션을 공개했다. 이 세션은 행사에 참석한 업계 관찰자들로부터 높은 관심을 받았다.

삼성전자는 프레젠테이션을 시작하며 메모리 비용이 AI 패키지 지출에서 차지하는 비중이 증가하고 있다는 시장 데이터를 제시했다. 현재 고대역폭 메모리(HBM)는 AI 칩 부품 지출의 대부분을 차지하고 있으며, 2024년 1분기 52%에서 2025년 4분기 63%로 상승했고, 현재 수치는 더욱 높을 것으로 보인다. HBM은 AI 추론에 필요한 대역폭을 제공하지만, 전력 소비가 크고 패키징 요구사항이 복잡하다. 삼성전자는 비용 절감을 위해서는 새로운 메모리 폼 팩터인 저전력 메모리 내 처리(LP-PIM)로의 전환이 필요하다고 주장한다.

회사는 PIM 개발 로드맵을 소개하며, 2021년 Aquabolt-XL HBM2-PIM 시연용 프로토타입부터 2026년 LPDDR5X-PIM 양산까지의 진척 과정을 설명했다. 삼성전자는 이를 세계 최초의 LPDDR 기반 PIM 솔루션이라고 밝혔다. 이전 버전에 대한 배경 지식은 Hot Chips 33에서의 삼성 HBM2-PIM 및 Aquabolt-XL 관련 보도와 Hot Chips 2023에서의 메모리 내 처리 기술 프레젠테이션을 참조할 수 있다.

아키텍처적으로 LPDDR5X-PIM은 DRAM 뱅크 내에 16개의 PIM 블록을 통합한다. 이 블록들은 병렬 MAC 트리와 부동소수점 및 정수 연산을 모두 처리할 수 있는 산술 논리 장치(ALU)를 갖추고 있다. 해당 사양은 JEDEC 표준 561볼 패키지 방식을 사용하며, 랭크당 4개 다이에서 총 16GB의 용량을 분배하여 서버, 모바일, 클라이언트 애플리케이션을 타겟으로 한다. x64 구성에서 9600 Mbps 속도로 동작할 때 PIM 대역폭은 614 GB/s에 달하며, 이는 기존 DRAM 인터페이스에서 이용 가능한 76.8 GB/s의 8배 수준이다.

LPDDR5X-PIM은 멀티 정밀도 데이터 타입을 지원하는 첫 번째 LP-PIM 제품이다. 사용자는 구성 레지스터의 MAC 정밀도 필드를 통해 15가지 조합 중 하나를 선택할 수 있다. 워크로드에 따라 SINT4 가중치와 결합된 활성화 값은 2.4 TOPS를 제공하고, FP8 구성은 패키지당 약 1.2 TFLOPs를 산출한다. 주소 정렬 모드를 통해 드롭인 호환성이 유지되며, 이 기능은 DRAM 주소를 MAC 명령어로 매핑하여 커스텀 하드웨어 없이 기존 DRAM 컨트롤러와 함께 작동할 수 있게 한다.

이 아키텍처는 미리 정의된 행과 전용 PIM 레지스터를 사용하여 단일 뱅크 및 다중 뱅크 PIM 작업 간 동적 전환을 지원한다. 삼성전자는 이 방식이 이전 세대 HBM-PIM 접근법보다 더 빠르고 신뢰성 있는 전환을 제공한다고 언급했다. MAC 실행 흐름은 먼저 활성화 쓰기 단계로 시작되는데, 이때 16개의 WRPB 명령어가 호스트 프로세서에서 브로드캐스트된 FP8 활성화 데이터를 각 뱅크의 소스 레지스터 파일에 채운다. 그 다음, PIMX_RD를 통해 가중치 행렬이 로드되는데, 이는 DRAM 셀에서 32바이트 가중치 요소를 직접 읽어서 MAC 트리에 분배하고 결과를 단일 벡터 레지스터 파일로 집계한다. 각 MAC 연산이 완료되면 부분 합계가 벡터 레지스터 파일에 저장되고, 이후 PIMX_WR가 데이터를 DRAM 뱅크로 다시 전송한다. 이러한 설계는 읽기-쓰기 비율을 고정된 1:1 제약에서 분리시킨다. 최종 결과를 검색하기 위해 호스트는 단일 뱅크 모드로 전환하고 순차적인 RD 명령어를 발행하며, 최대 64번의 읽기 작업으로 1-kbit 벡터 레지스터 파일을 충분히 서비스할 수 있다.

삼성전자는 엣지 AI 가속기 SoC를 사용하여 실리콘 상에서 설계를 검증했으며, 표준 LPDDR5X와 LPDDR5X-PIM 구성 모두를 테스트했다. 벤치마크는 Llama-3.1-8B 모델을 320토큰 컨텍스트 윈도우에서 실행했으며, SINT8 활성화, SINT4 가중치, SINT32 출력을 사용했다. 이러한 조건에서 LPDDR5X-PIM 구현체는 5.4초 만에 작업을 완료한 반면, 기존 LPDDR5X는 12.3초가 소요되어 2.28배의 속도 향상을 보였다. 추론 처리량은 초당 27.0토큰에서 81.3토큰으로 증가했으며, 이는 3.01배 개선된 수치로 해당 기술의 가치 제안을 뒷받침한다.

삼성전자는 소프트웨어 및 생태계 지원이 플랫폼의 핵심 요소임을 강조했다. 요청 시 시뮬레이터와 데이터시트를 제공하며, 동반 SDK에는 참조 도구들이 포함되어 있다. 향후 전망으로는 LPDDR6-PIM이 최종화된 JEDEC LP6-PIM 사양을 향해 진행 중이다. JEDEC 표준화를 달성하는 것은 PIM을 연구용 프로토타입에서 상업적으로 실현 가능한 제품으로 전환하는 데 있어 중요한 이정표이다.

전략적으로 삼성전자는 LPDDR5X-PIM을 AI 추론 워크로드를 위한 HBM 대비 비용 효율적이고 저전력인 대안으로 포지셔닝하고 있으며, 실리콘 검증을 통해 구체적인 성능 향상 효과를 입증했다. 그러나 광범위한 채택을 위해서는 선도 고객들이 이 기술을 주도하고 설계에 통합하며 업계의 모멘텀을 이끌어내야 할 것이다. 또한 이 전환은 전략적 고려 사항을 도입하는데, 메모리 벤더가 저장 계층과 연산 계층 모두를 장악하게 되면 고객 관계에서 상당한 협상력을 확보하게 된다. 따라서 벤더 잠금 현상을 방지하고 서드파티 공급(Second-sourcing)을 가능하게 하기 위해서는 견고한 표준화가 필수적이다.

원문 보기