반도체·하드웨어 · 리포트

삼성전자는 Hot Chips 2026에서 업계 최초의 LPDDR5X-PIM을 선보였으며, 메모리에 로직 유닛을 직접 내장하여 AI 추론 속도를 3.01배 빠르게 하고 대역폭을 8배 향상시켰습니다.

메모리 내 처리 기술은 추론 워크로드의 데이터 이동 지연을 줄여 가속기 아키텍처를 재편하고 외부 고대역폭 메모리 계층에 대한 의존도를 낮출 수 있습니다.

업계 전문지Slicast · August 26, 2026 · 글로벌 · 출처: Tom's Hardware

중요도 82

Hot Chips 2026에서 삼성은 저전력 DRAM에 연산 로직을 직접 통합한 업계 최초의 LPDDR5X-PIM(메모리 내 처리) 모듈을 공개했다. 2021년 AMD 가속기용 HBM 스택을 통해 처음 시연된 PIM 기술을 기반으로 한 이 아키텍처는 계산 유닛을 DRAM 셀 옆에 배치하여 기본 연산을 로컬에서 실행한다. 이러한 연산을 메모리 서브시스템 내에서 처리함으로써 삼성은 프로세서 병목 현상을 제거하고 AI 추론 워크로드를 크게 가속화한다.

예비 벤치마크 결과, 삼성은 표준 LPDDR5X 대비 LPDDR5X-PIM이 모델 실행 시간에서 2.28배 개선되고 초당 토큰 수에서 3.01배 증가했다고 보고했다. 또한 이 기술은 대역폭을 8배 확장한다. LPDDR5X-9600의 일반적인 최대 대역폭이 76.8 GB/s인 반면, PIM 통합은 데이터 이동을 최소화하고 메모리 스택 내에 기본 로직을 유지함으로써 유효 대역폭을 614 GB/s로 높인다.

메모리 내 처리로의 전략적 전환은 AI 하드웨어의 중요한 비용 및 효율성 제약 조건을 해결한다. Hot Chips에서 마이크론이 앞서 경고했듯이 HBM 웨이퍼 수요는 계속 격화되고 있다. 메모리는 이미 AI 칩 비용의 대부분을 차지하며 그 비용 비중은 지속적으로 확대되고 있다. DDR5와 HBM의 상당한 전력 요구 사항과 결합할 때, LPDDR5X는 PIM 채택을 위한 최적의 대상이다. 삼성은 2023년 LPDDR5X-PIM 개념과 함께 HBM-PIM을 처음 도입했으며, Hot Chips 발표는 후자가 프로토타입에서 검증된 제품으로 전환되는 것을 의미한다. 회사는 또한 올해 말 초기 JEDEC 사양을 목표로 LPDDR6X-PIM도 추진 중이다.

삼성 LPDDR5X-PIM 아키텍처는 각 메모리 뱅크에 전용 PIM 유닛을 할당하는데, 이는 논리를 수용하기 위해 뱅크를 희생해야 했던 HBM-PIM 설계보다 구조적으로 개선된 것이다. 각 뱅크 내에서 메모리 어레이, 스케일 레지스터 파일(SRF), 소스 레지스터 파일은 병렬 곱셈-누적(MAC) 트리에 데이터를 공급한다. 정수 또는 부동소수점 형식의 계산 출력은 벡터 레지스터 파일(VRF)에 저장된다. 기존 DRAM 컨트롤러와의 호환성을 유지하기 위해 모듈은 단일 뱅크(일반 DRAM) 모드 또는 멀티 뱅크(PIM) 모드 중 하나로 작동한다. 삼성은 주소 정렬 모드(AAM)를 통해 기존 DRAM 재주문 제한 문제를 해결했는데, 이는 DRAM 주소를 MAC 명령어로 매핑하고 명령어 레지스터 파일 대신 행/열 주소에 따라 VRF/SRF 주소를 할당하는 방식이다.

데이터 흐름 시연 동안 삼성은 멀티 뱅크 PIM 모드에서 사전 로드된 가중치 매개변수를 사용한 MAC 연산을 개요로 제시했다. 512바이트의 FP8 활성화 데이터는 16개의 256비트 패킷으로 분할되어 뱅크 전체에 기록되었고 SRF에 로그되었다. PIMX_RD 명령은 DRAM 뱅크에서 가중치 데이터를 검색하여 SRF 데이터와 함께 MAC 트리에 공급했다. 완료되면 각 연산의 출력 벡터가 VRF에 기록되었다. 이후 PIMX_WR 명령은 결과를 다시 DRAM 뱅크로 전송했다. 1kbit VRF 용량으로 최대 4개의 계산을 동시에 저장할 수 있었다. 마지막으로 호스트 시스템은 단일 뱅크 모드로 전환하여 집계된 출력을 검색하기 위해 16번의 읽기 작업을 실행했다.

물리적으로 LPDDR5X-PIM은 표준 LPDDR5X 패키지를 반영하여 561볼 배열을 사용한다. 모듈은 두 개의 64비트 랭크와 16GB 용량을 특징으로 하며, 총 8개의 다이(랭크당 4개)로 구성된다. 테스트 과정에서 삼성은 에지 AI 가속기(초기 Gaia SoC일 가능성)를 배포하여 80억 파라미터의 Llama 3.1을 실행했다. 참석자들은 출력 정밀도의 미세한 차이를 지적했으며, 삼성은 이를 지속적인 최적화 노력의 결과라고 설명했다. 회사는 정확도 개선이 계속되더라도 성능상의 이점은 유지될 것이라고 강조했다.

추가된 연산 로직에도 불구하고, 삼성은 전반적인 전력 소비가 기존 DRAM보다 낮게 유지될 것이라고 주장한다. PIM 연산의 버스트 특성으로 인해 피크 전력 소모는 "훨씬 더 높"아질 수 있지만, 호스트와 메모리 간 중복 데이터 전송을 줄이면 순 에너지 절감 효과가 발생한다. "우리는 상당한 전력 증가를 겪지 않고 있다"고 삼성의 Karam Hwang은 말했다. 역사적으로 소비자 전자 제품에 국한되었던 LPDDR5X는 최근 서버 및 가속기 시장으로 확장되었으며, 특히 SOCAMM2 모듈을 통해 Nvidia의 Vera CPU와 Intel의 Crescent Island AI 가속기에 전원을 공급하고 있다. PIM 통합을 통해 삼성은 서버, 클라이언트, 모바일 세그먼트를 타겟팅하며, LPDDR5X-PIM이 휴대용 장치와 Crescent Island와 같은 하위 등급 가속기에서의 에지 AI 워크로드를 가속화하고 비용을 절감할 것으로 기대한다.

원문 보기