Marvell는 AI 워크로드를 염두에 두고 CXL 연결 메모리의 용량과 속도를 향상시켰다.
Marvell은 AI 키-밸류(KV) 캐싱 워크로드에서 더 많은 메모리를 사용할 수 있도록 CXL 메모리 확장 컨트롤러를 업그레이드했습니다. AI 토큰 처리에 사용되는 캐시된 키-밸류 항목을 저장하던 GPU의 고대역폭 메모리(HBM) 용량이 부족해지면, 캐시는 서버의 x86 DRAM으로 넘쳐 흐를 수 있는데, 이 DRAM 역시 용량에 한계가 있습니다. Compute Express Link(CXL)은 외부 메모리를 풀(pool)로 묶어 PCIe 버스를 통해 연결된 서버 및 기타 장치에 제공함으로써 DRAM KV 캐싱 풀을 확장합니다. CXL 2.0 및 PCIe Gen5를 지원하던 기존 Structera CXL 컨트롤러는 CXL 3.2 및 PCIe Gen6을 지원하도록 업그레이드되었으며, 메모리 채널도 늘어났습니다.
Marvell의 커스텀 클라우드 솔루션 담당 EVP 겸 총괄 책임자인 Will Chu는 이렇게 말했습니다. "Marvell은 메모리 확장(Structera X), 근접 메모리 가속(Structera A), 그리고 포토닉 패브릭 메모리 어플라이언스(PFMA)라는 포드 규모의 CXL 메모리 공유 어플라이언스를 아우르는, 완전한 엔드투엔드 CXL 포트폴리오를 보유한 유일한 공급업체입니다. 이를 통해 고객은 직접 연결(direct-attach)에서 분산 메모리 풀링(disaggregated memory pooling)에 이르는 완전한 포트폴리오를 얻을 수 있습니다. 우리는 가장 까다로운 AI 인프라 요구 사항을 충족하기 위해 주요 하이퍼스케일러와 공동 개발한 업계 최고 수준의 CXL 컨트롤러를 제공하고 있습니다."
Marvell의 1세대 Structera 컨트롤러는 X 2404와 X 2504였습니다. 2세대는 X 3406과 X 3506으로 구성됩니다. 명명 체계는 다음과 같습니다.
- **첫 번째 숫자:** CXL 세대(2 = CXL 2.0, 3 = CXL 3.x / 3.2)
- **두 번째 숫자:** DDR 세대(4 = DDR4, 5 = DDR5)
- **마지막 두 자리:** 메모리 채널 수(04 = 4채널, 06 = 6채널)
X 3406과 X 3506은 다음과 같은 기능을 제공합니다.
- **AI를 위한 메모리 용량 확장:** 6개의 DDR4/DDR5 메모리 채널을 갖추어 이전 세대보다 50% 많으며, 컨트롤러당 최대 9TB의 DDR4 또는 6TB의 DDR5 메모리를 지원합니다.
- **메모리 바운드 AI 워크로드 가속:** 최대 5배 높은 LZ4 압축 처리량으로 2~3배 더 효율적인 메모리 용량을 확보할 수 있어, 대규모 언어 모델 서빙과 DLRM(딥러닝 추천 모델) 성능 향상에 도움을 줍니다.
- **더 많은 호스트 지원:** CXL 3.2 지원으로 최대 4개의 호스트 간 메모리 공유가 가능하며, 호스트당 최대 256GB/s의 대역폭을 제공합니다. 여기에 엔터프라이즈급 RAS(신뢰성, 가용성, serviceability)와 포스트 양자 보안이 결합됩니다.
CXL 시장 보고서의 저자이자 Objective Analysis의 총괄 책임자인 Jim Handy는 이렇게 말했습니다. "CXL은 매우 높은 대역폭과 대용량 메모리 지원이라는 장점을 누릴 수 있기 때문에 AI 시스템에서 널리 채택되기 시작했습니다. 또한 오늘날의 메모리 부족과 그에 따른 높은 가격 때문에 IT 관리자들은 CXL을 이용해 사용하던 DDR4 DIMM을 DDR5 시스템에 재배치하여 즉각적인 비용 절감을 꾀하고 있습니다. 가까운 미래에는 이들 관리자가 CXL 메모리 풀을 활용해 잔존 메모리(stranded memory)를 줄이고 더 큰 절감 효과를 얻을 것이며, 이 제품처럼 압축 기능을 갖춘 컨트롤러를 더욱 매력적으로 여기게 될 것입니다."
Marvell은 이전 세대인 X 2404/2504 아키텍처가 "이미 하이퍼스케일러에 출하되고 있다"고 밝혔으며, 두 곳의 하이퍼스케일러가 새 세대에 대한 지원을 제안했다고 말했습니다.
Alibaba 대변인은 이렇게 말했습니다. "Marvell과의 협업을 통해 CXL 기술 분야의 선도적 역량과 Alibaba의 대규모 AI 및 클라우드 인프라 경험을 결합하여, 차세대 AI 데이터센터를 위한 메모리 아키텍처를 개발하고 있습니다."
Meta 하드웨어 엔지니어링 디렉터 Yashar Bayani는 이렇게 말했습니다. "Meta는 컴퓨팅 인프라의 증가하는 메모리 수요를 해결하는 CXL 솔루션을 발전시키기 위해 Marvell과 협력하게 되어 기쁩니다. 시스템이 확장됨에 따라 인프라 효율성과 비용을 개선하면서 메모리 용량을 늘리는 것이 중요해지고 있습니다. CXL은 메모리 자원을 확장하고 인프라 경제성을 최적화하는 유연한 방법을 제공하며, 차세대 확장 가능한 인프라를 구현하기 위해 Marvell을 포함한 생태계와 함께 일하기를 기대합니다."
Marvell Structera X 3406 및 Structera X 3506 CXL 메모리 확장 컨트롤러는 2027년 1분기에 샘플 출하가 예상됩니다.
Marvell은 포토닉스에 강한 중점을 두고 있으며, 고속 포토닉 링크를 통해 프로세서에 연결되는 외부 메모리 풀을 도입할 것으로 예상합니다. CXL은 프로토콜, 코히어런시, 메모리 시맨틱스를 그대로 유지하면서 주로 광 상호연결(실리콘 포토닉스 및 광섬유)을 물리 전송 계층으로 사용하는 방식으로 포토닉스에 적응할 가능성이 큽니다. Gen6 및 Gen7의 PCIe 역시 포토닉스 물리 전송을 채택할 수 있습니다.