AMD, HBM 없이 서버 DRAM 용량을 확장하기 위해 Flash 확장 메모리 아키텍처 발표.

데이터센터에 위기가 조성되고 있으며, 그 중심에는 DRAM 메인 메모리의 부족과 터무니없이 높은 가격이 있습니다. GenAI 붐으로 인해 하이퍼스케일러, 클라우드 빌더, AI 모델 빌더, 그리고 신규 클라우드 기업들이 Micron Technology, Samsung, SK Hynix의 메모리 파운드리에서 나오는 제한된 용량을 독점하고 있으며, 수요 충격으로 인해 전례 없는 가격 인상이 발생하고 있습니다.

Counterpoint Research에 따르면, 64 GB DIMM 메모리 가격은 2025년 Q3과 2026년 Q1 사이에 3.5배 상승했으며, 2026년 Q3까지 5배 상승할 가능성이 높습니다. Micron의 최근 재무제표에 따르면 2028년까지 수요 충격이 끝날 조짐이 없어, 가격이 계속 상승할 것으로 예상됩니다.

DRAM 메인 메모리는 2023년에 서버 비용의 약 50%를 차지했으며, CPU가 부품 비용의 약 25%를 차지하고 기타 주변 장치 및 스토리지가 나머지를 차지했습니다. 그러나 2026년 중반까지 DRAM이 서버 비용의 60~90%를 차지하게 되었으며, 평균적으로 약 75%입니다. CPU의 가격이 내려오지 않았고, 메모리 가격이 급등하면서 증가하는 CPU 가격은 상대적으로 작아 보입니다.

메인 메모리는 더 효율적으로 사용할 수 있으며, 심지어 플래시로 확장할 수도 있습니다. 이는 10년 이상 추구되어 온 개념입니다. 이것은 Intel과 Micron이 2015년 7월에 출시한 3D XPoint 스토리지의 약속였습니다. 3D XPoint는 DRAM과 플래시 사이의 성능을 제공하면서도 메인 메모리처럼 바이트 어드레싱이 가능하고 플래시처럼 비용 효율적이기를 의도했습니다. 그러나 Intel은 제조 및 기술에서 3D XPoint를 충분히 빠르게 확장하지 못했고, 결과적으로 DRAM과 거의 같은 비용이 들면서 플래시보다만 몇 배 빨랐습니다. Intel이 3D XPoint를 자체 Xeon 서버 프로세서에만 제한하기로 한 결정은 이 기술이 주류가 되는 것을 막았습니다. 결국 Intel은 이 기술을 중단했고 플래시 사업을 SK Hynix에 매각했습니다. 이는 자기기만적인 결정으로, Intel에 엄청난 미래 수익 손실을 초래했습니다.

현재 세 대형 메모리 제조업체는 DRAM 생산 능력을 고가의 HBM 적층 메모리에 할당하고, 서버 DIMM 모듈에 사용되는 일반 DRAM 칩의 생산을 줄이며, DRAM 생산을 촉진하기 위해 플래시 출력을 감소시키고 있습니다. 연간 DRAM 및 플래시 생산은 아마도 20~25% 증가할 것이지만, 수요가 그 이상입니다. 결과적으로 DRAM 및 플래시 가격은 계속 상승하고 있으며, Big Three는 용량을 최고 입찰자에게 판매하고 있습니다.

이러한 시장 역학은 AMD가 MEXT를 인수하도록 촉발했습니다. MEXT는 2023년에 설립되어 2026년 4월 초에 공식 출범한 스타트업입니다. 회사 이름은 메모리 확장의 개념을 불러일으키도록 의도되었으며, 그 팀은 DRAM 메인 메모리를 플래시 스토리지로 투명하고 눈에 띄지 않게 확장하는 방법을 개발했습니다.

MEXT의 공동 창립자이자 최고경영자인 Gary Smerdon은 이 도전 과제에 깊은 전문성을 가져옵니다. 그는 서버를 위한 플래시 스토리지의 첫 번째 주요 상용화업체인 Fusion-io의 최고 전략 및 제품 담당자였으며, Apple과 Meta Platforms이 주요 고객이었습니다. 그 이전에 Smerdon은 LSI Logic에서 6년 동안 고체 상태 메모리 노력을 주도했습니다. 가장 최근에는 더 작은 물리적 NUMA 서버에서 대규모 가상 NUMA 서버를 구축할 수 있게 하는 HyperKernel 하이퍼바이저를 만든 TidalScale을 공동으로 설립했습니다. TidalScale은 $70.3 million을 조달했으며 2022년 12월에 Hewlett Packard Enterprise에 인수되었습니다.

MEXT는 시드 펀딩으로 $2.4 million을 조달했지만, 출처에 따르면 총액이 더 높을 수 있습니다. 투자자에는 Clear, DN Capital, Uncorrelated, Raptor, FJ Labs이 포함됩니다. 회사는 39명의 직원을 보유하고 있으며, 많은 직원이 TidalScale에서 왔고, 시니어 역할에서 메모리 관리 및 가상화의 외부 전문성을 가져왔습니다.

공동 창립자 David Reed는 TidalScale과 수십 년 전 Lotus Development의 최고 과학 담당자였습니다. 최근에는 HPE의 펠로우였고 SAP의 부사장이었으며, MIT 컴퓨터 과학 교수로 오랫동안 직위를 유지하면서 인터넷 스택의 일부를 형성하는 데 도움을 주었습니다. VMware의 ESX 하이퍼바이저에서 프로세서 스케줄링, 메모리 관리, NUMA 스케줄링을 담당하는 주요 엔지니어이자 VMware의 Distributed Resource Scheduler의 아키텍트인 Carl Waldspurger는 MEXT의 최고 과학 담당자로 합류했습니다. Distributed Resource Scheduler는 가상 머신의 라이브 마이그레이션을 제어하며, 기본적으로 시스템 간 메모리 상태를 이동하는 것입니다.

이러한 리더들은 메모리 문제에 대한 오랜 경험을 가지고 있습니다. 1980년대 후반, 그들은 Intel 80286 아키텍처의 640 KB 메인 메모리 장벽에 대처했으며, DOS의 HIMEM.SYS 확장 메모리 드라이버를 사용하여 1 MB까지 메모리에 액세스했습니다. 80386은 기본 제공 확장 메모리를 도입했으며, 32비트 처리로 최대 4 MB를 지원했습니다.

메모리 확장은 새로운 개념이 아니지만, DRAM의 현재 비용이 높은 상황에서는 시의적절합니다. 플래시는 DRAM보다 50배 저렴하며, 전력 소비가 30배 낮지만, 500배 느립니다. 플래시를 메모리 확장기로 효과적으로 사용하려면 정교한 엔지니어링이 필요합니다.

"우리는 해결할 수 있다면 모든 것을 바꿀 수 있는 세 가지 문제를 생각해냈습니다"라고 Smerdon은 설명합니다. "첫째, 우리는 DRAM 활용을 증가시켜야 합니다. 이는 명백하며 모든 사람이 CXL 및 풀링을 통해 시도하고 있습니다. 둘째, 메모리 확장이 작동하기 위해 하드웨어나 소프트웨어 변경이 필요하지 않아야 합니다. Ethernet, AMD, LSI에서의 경력 동안 모든 빠르게 성장하는 제품은 소프트웨어 변경을 필요로 하지 않았습니다. 이상적인 세상에서는 이것도 마찬가지여야 합니다. 그러나 메모리 문제에 초점을 맞춘 사람 중 누구도 이를 핵심 원칙으로 삼지 않았습니다. 셋째, 우리는 플래시를 메모리 계층으로 가져와야 합니다. 우리가 2023년에 시작했을 때 비트당 50배 저렴했고, 지금은 100배 저렴할 수도 있으며, 비트당 전력이 30배 낮습니다. 문제가 하나 있습니다. 플래시는 500배 느리고, 그것은 잘 작동하지 않습니다. 우리 모두 swap이 구린다는 것을 알고 있으므로, 우리는 이러한 문제들을 해결해야 했습니다."

해결책은 콜드 데이터를 DRAM에 배치하는 것을 중단하고 핫 데이터(수십 나노초 내에 필요한 데이터)로 채우는 것입니다. 핫에서 웜으로, 웜에서 콜드로 페이지를 플래시로 푸시하는 것은 간단합니다. 진정한 도전은 데이터가 나노초의 극히 일부에 단일 CPU 명령으로 콜드에서 빨간색 핫으로 전환될 수 있다는 것입니다.

MEXT는 예측적 메모리(Predictive Memory)라고 부르는 것을 개발했으며, AI 알고리즘을 사용하여 애플리케이션 및 메모리 액세스 패턴을 모니터링하고 애플리케이션이나 운영 체제에서 요청하기 전에 플래시에서 DRAM으로 데이터를 검색합니다.

"우리는 이전 접근 방식보다 훨씬 더 나은 예측 정확도와 적용 범위를 가진 정교한 머신 러닝 모델을 개발했습니다"라고 Waldspurger는 설명합니다. "우리는 LSTM 및 LLM 트랜스포머와 같은 신경망을 기반으로 하는 현대적인 AI 기술에서 영감을 받았으며, 이들은 시퀀스 예측에 탁월합니다. 자연언어의 토큰을 예측하는 대신, 우리는 유사한 아이디어를 적용하여 미래 메모리 페이지 액세스의 시퀀스를 예측합니다. 우리의 AI 모델이 비동기적으로 실행되기 때문에, 그들은 더 풍부한 정보와 더 긴 기간의 추세에 대한 맥락에서 이득을 얻을 수 있으며 하드웨어 카운터를 활용할 수 있습니다."