Hot Chips 2026에서 XCENA는 CXL 메모리 컨트롤러, 3072개 RISC-V 코어 및 SSD 티어링을 결합한 MX1 장치를 시연했으며, 삼성전자는 LPDDR5X-PIM 솔루션의 확장성을 선보였다.
XCENA는 삼성과 공동 세션에서 Hot Chips 2026에 MX1 CXL 연산 메모리 장치를 선보이며, 이 칩을 랙 규모 CXL 메모리 아키텍처와 결합했습니다. MX1은 세 가지 기능을 단일 패키지로 통합한 Type 3 CXL 컴포넌트입니다: CXL 메모리 확장, 바이트 주소 지정 가능한 CXL 메모리로 노출되는 SSD 기반 스토리지, 그리고 수천 개의 RISC-V 코어에 걸친 근접 메모리 처리(Near-memory processing)입니다. 이전 보도에서 첫 번째 세대 MX1을 CXL 3.0 연산 메모리 부품으로 다룬 바 있으며, 이번 세션에서는 해당 기술의 범위를 랙 규모 시스템으로 확대합니다.
XCENA의 핵심 주장은 AI 워크로드가 순수 연산 성능의 한계에 도달하기 훨씬 전에 메모리 용량, 대역폭 및 전력 효율성에서 병목 현상이 발생한다는 것입니다. MX1은 최대 2TB의 CXL 메모리 확장을 지원하는 네 개의 DDR5-8400 채널을 통해 이러한 제약을 해결합니다. 또한 MX1 루트 포트에 연결된 SSD는 호스트에게 완전히 주소 지정 가능한 CXL 메모리로 노출됩니다. 근접 메모리 컴퓨팅은 다이(Die) 위에 직접 통합된 3,072개의 맞춤형 RISC-V 코어를 통해 제공됩니다.
삼성 파운드리(Samsung Foundry)의 4nm 공정으로 제조된 MX1 다이는 24개의 서브시스템으로 분할됩니다. 각 서브시스템은 32개의 메모리 유닛(MU) 클러스터 4개로 구성되며, 총 3,072개의 MU를 형성합니다. XCENA는 서브시스템을 호스트 작업 할당의 기본 단위로 정의하며, 각 서브시스템은 독립적인 워크로드를 실행하면서도 128MB L3 캐시를 공유할 수 있습니다.
XCENA는 목표 워크로드의 대역폭 종속성 및 전력 민감성을 고려하여 고성능 코어보다 단순한 순차 실행(In-order) RISC-V 코어를 다수 채택했습니다. 이 아키텍처는 바이트당 낮은 에너지 소비를 유지하면서 3,072개의 코어를 통합할 수 있게 합니다. 오픈 RISC-V ISA는 성숙한 개발 도구 체인을 제공하며, 인메모리 분석, 검색 증강 생성(RAG) 검색, 메모리 압축 등 데이터 병렬 작업에 맞춘 사용자 지정 명령어를 지원합니다.
벡터 처리 엔진(Vector Processing Engine)은 전용 벡터 실행 경로를 통해 스칼라 MU를 보완합니다. 각 MX1 SoC는 약 3 TFLOPS의 피크 곱셈-누적(도트 프로덕트) 처리량을 달성하며, 요소별 산술, 리덕션(Reductions), CRC32, 벡터-스칼라 연산을 지원합니다. 각 MU별 전용 명령어 큐는 RAG 벡터 검색 및 KV 캐시 채점(KV cache scoring)에 최적화되어 있습니다.
온칩 로컬리티(On-chip locality)는 신중하게 관리됩니다. 각 클러스터에는 4개의 MU가 공유하는 8KB L1 명령어 캐시와 32개의 MU가 공유하는 256KB L2 데이터 캐시가 있습니다. 128MB 마지막 레벨 캐시(LLC)는 클러스터를 상호 연결합니다. 명령어 페칭은 물리 주소를 활용하는 반면, 데이터 액세스는 호스트 가상 주소를 사용하며, 주소 변환은 클러스터 수준에서 조정됩니다.
핵심적인 소프트웨어 설계 선택 사항 중 하나는 호스트와 MU 간에 공유되는 통합 가상 주소 공간을 구현하는 것입니다. 호스트와 장치가 동일한 포인터를 참조할 수 있도록 함으로써 포인터 집약적 데이터 구조가 안전하게 이동하며, 기존 `malloc` 기반 애플리케이션은 최소한의 리팩토링으로 CXL 메모리로 마이그레이션할 수 있습니다. CXL 인식 할당자(CXL-aware allocator)는 애플리케이션 커널과 메모리 할당을 격리하기 위해 테넌트별 페이지 테이블을 유지합니다.
소프트웨어 스택 측면에서 XCENA는 MapReduce 스타일의 런타임인 PXL(Parallel Xceleration Library)을 제공합니다. PXL은 디바이스 컨텍스트 초기화부터 C/C++ 또는 Rust로 정의된 커널까지 애플리케이션 수명 주기를 관리합니다. 이는 하나 이상의 서브시스템에 걸쳐 작업을 스케줄링하고, MU 코어 전반에 작업을 분배하는 맵 API를 노출하여 메모리 할당 및 동기화를 자동화합니다.
XCENA는 호스트-CXL 구성 대비 최대 4.7배, 로컬 DRAM 대비 2배의 처리량 개선을 보고하며 호스트 전력의 약 4분의 1만 소모한다고 밝혔습니다. 이러한 지표는 CXL 대비 최대 18.7배, DRAM 대비 6.2배의 효율성 향상으로 이어집니다. 벤치마크는 Intel Xeon 6767P 레퍼런스 플랫폼을 사용하여 수행되었으며, 측정값에는 유휴 전력이 제외되었습니다.
DRAM을 넘어선 MX1은 XCENA의 “Infinite Memory” 아키텍처를 통해 SSD 용량을 바이트 주소 지정 가능한 CXL 메모리로 노출합니다. 이 DRAM-NAND 하이브리드는 온보드 DRAM을 사용하여 SSD 페이지를 캐싱합니다. 데이터는 64KB 페이지로 분할되며, 1,024 엔트리 매핑 캐시 TLB에 의해 관리되고, 캐시 미스는 MU 코어에서 실행되는 펌웨어에 의해 처리됩니다. 개념적으로 기존 메모리 티어링 솔루션과 유사하지만, XCENA의 구현은 CXL 파브릭과 긴밀하게 통합됩니다. 이 접근 방식은 인텔 옵테인(Intel Optane) 중단 이후 산업이 NAND 기반 캐싱 계층에 계속 의존하고 있음을 강조합니다.
Infinite Memory는 생성형 AI 워크로드의 KV 캐시 관리를 직접적으로 해결합니다. 프롬프트 접두사를 상주 메모리에 고정(Pin)하면 XCENA는 네이티브 DRAM 대비 1.13배 이내의 쿼리 첫 토큰 시간(TTFT) 성능을 입증합니다. 고정을 제거하면 지연 시간이 1.57배 증가하며, 원시 SSD 기준선은 1.86배에 달합니다. 장치의 미사용률을 활용한 Lookahead 프리페치 메커니즘은 성능을 DRAM 수준 근처로 복원합니다. 벤치마크에는 Llama-3.1-8B가 vLLM, LMCache 및 NVIDIA RTX 6000 Pro GPU와 함께 사용되었습니다.
세션 후반부는 MX1을 활용한 삼성의 근접 메모리 처리 연구 결과를 강조합니다. 삼성의 방법론은 CXL 인터커넥트 뒤에서 이용 가능한 높은 DRAM 대역폭을 활용하여 계산 작업을 그 자리(In-situ)에서 수행하고 집계된 결과만 전송하는 데 중점을 둡니다. 발표에서는 DDR5 대역폭 268.8 GB/s와 64 GB/s PCIe Gen6 x8 호스트 링크를 비교했으며, 이는 Gen6 서버 프로세서의 현재 출시 일정을 반영한 것입니다. 세션 동안 삼성은 CXL 채택이 주요 초격차(Hyperscaler) 기업들 사이에서 가속화되고 있으며, 특히 데이터베이스 가속 및 AI/KV 캐시 워크로드에서 두드러진다고 언급했습니다.
삼성 및 XCENA는 GPU 서버가 CXL 시맨틱스를 통해 메모리를 풀링할 수 있는 랙 규모 CXL 연산 메모리 아키텍처를 제시했습니다. 레퍼런스 구성은 Liqid CXL 스위치와 96GB NVIDIA RTX Pro 6000 Blackwell 가속기가 탑재된 GPU 서버를 통합하여, 총 20TB의 집계 메모리 용량과 2.7 TB/s의 지속 대역폭을 목표로 합니다.
소프트웨어 통합을 용이하게 하기 위해 삼성은 OCP 재단(OCP Foundation)의 FTI DCC 이니셔티브를 통해 오픈 소스로 공개한 벤더 비종속 근접 데이터 컴퓨팅 라이브러리인 NDC API를 소개했습니다. PyTorch 호환성은 OpenXLA 및 PrivateUse1 백엔드를 통해 달성되며, 이를 통해 AI 프레임워크는 애플리케이션 수준의 수정 없이 XCENA PXL 런타임과 직접 인터페이스할 수 있습니다.
삼성 두 가지 주요 AI 워크로드를 시연했습니다. 첫 번째는 FAISS IVF Flat 인덱싱을 사용한 CXL 가속 PNM 기반 RAG 벡터 검색에 중점을 둡니다. L2 k-최근접 이웃 거리 계산이 대역폭 종속성이 강하기 때문에, 삼성은 이 작업을 MX1 장치로 오프로딩했습니다. 10개의 PNM 유닛을 배포했을 때, LAION-5B 데이터셋에서 파생된 5억 벡터 FAISS 인덱스를 사용하여 표준 CXL 메모리 풀과 호스트 CPU를 조합한 경우 대비 초당 쿼리 수가 64배 높고 쿼리 당 에너지 효율이 65배 개선되었습니다.
두 번째 워크로드는 GPU-plus-PNM 하이브리드 어텐션을 통한 LLM 디코딩을 타겟으로 합니다. 이 아키텍처에서 자주 액세스되는(Hit) KV 캐시 페이지는 GPU에 남아 있고, 교체된(Miss) 페이지는 PNM 장치로 라우팅됩니다. 전체 KV 페이지를 호스트로 다시 전송하는 대신, PNM 유닛은 계산된 어텐션 점수만 계산하여 반환합니다. 디코드 타임라인은 CXL에서 KV 캐시를 로드하는 전통적인 GPU 전용 어텐션과 이 하이브리드 오프로딩 전략을 비교합니다.
삼성은 하이브리드 디코드 경로에서 상당한 성능 향상을 강조했습니다. 100K 컨텍스트 윈도우에서 운영할 때 PNM 풀은 처리량을 3.35배, 토큰 당 에너지 효율을 3.84배 증가시켰으며, 각각 초당 17.7개 대 5.50개 토큰, 킬로줄당 4.31개 대 1.12개 토큰을 달성했습니다. 벤치마크는 INT8 정밀도로 LLaMA-3.1-70B를 실행했으며, 각 서버는 5대의 MX1 장치와 NVIDIA RTX Pro 6000 Blackwell GPU로 구성되어 있었습니다.
종합하면, XCENA와 삼성은 MX1을 연산 메모리 패러다임의 중심에 있는 생산 준비 완료 실리콘으로 포지셔닝하고 있습니다. 이 파트너십은 가속기, PXL 런타임, Infinite Memory 캐싱을 삼성의 랙 규모 풀링 인프라와 통합합니다.
XCENA의 발표는 메모리 용량, 대역폭 및 효율성—순수 연산 성능이 아닌 것—이 AI 및 분석 워크로드의 주요 병목 현상으로 남아 있다는 주장을 강화합니다. 제안된 솔루션은 최적화 논리를 호스트 CPU나 GPU에서 전용 CXL 장치로 이동시킵니다. 근접 메모리 RISC-V 컴퓨팅, SSD 기반 바이트 주소 지정 스토리지, 삼성의 랙 규모 풀링을 결합함으로써 이 아키텍처는 용량과 처리력을 동시에 확장할 수 있는 새로운 메모리 티어를 구축합니다. 이러한 통합 접근 방식과 SSD 티어링 구현의 실용적 검증은 기술이 성숙해짐에 따라 밀접하게 모니터링될 예정입니다.