AMD는 올해 초 인수한 MEXT 기술을 자사 IT 인프라에 적용해, DRAM 사용량을 50%로 제한하면서도 성능의 95%를 유지하고 있다고 밝혔다.

지난 6월, AMD는 MEXT라는 예측형 메모리 엔진을 공개하며 주목을 받았습니다. 이 기술은 물리적 DIMM을 최소 25%만 사용하면서도 전체 DRAM 용량을 갖춘 시스템 성능의 99% 이상을 제공한다고 주장합니다. 이 기술은 사용 빈도가 낮은 메모리 페이지를 플래시 스토리지로 옮기고, AI 모델을 활용해 필요해지기 전에 페이지를 미리 공급합니다. AMD는 내년에 이 기술을 자사 IT 인프라 전반으로 확대할 계획이라고 밝혔습니다.

MEXT의 기술 구상은 너무 좋아서 사실이 아닌 것처럼 들립니다. AMD와 MEXT 창업자 Gary Smerdon에 따르면, 이 기술은 애플리케이션과 목표 성능에 따라 서버에 필요한 물리적 DRAM을 20%에서 75%까지 줄일 수 있습니다. 부족한 메모리는 운영체제에서 여전히 설치된 DRAM으로 인식됩니다. MEXT는 DRAM 대신 비교적 저렴한 플래시 스토리지에 사용 빈도가 낮은 페이지를 옮겨 두고, AI 모델로 필요할 때 이를 다시 불러옵니다. AMD는 Synopsys PrimeTime과 같은 내부 워크로드의 일부에서, MEXT를 사용해 DRAM 용량 50%로 실행하면서도 전체 서버 성능의 95%를 달성할 수 있다고 밝혔습니다.

AMD는 현재 145대의 서버에 MEXT를 내부적으로 배포했으며, 내년에는 이 수를 2,000대로 늘릴 예정이라고 밝혔습니다. 또한 고객에게 MEXT를 제공하기 위해 HPE와 파트너십을 발표했습니다. 현재 출시는 1단계에 있으며, 일부 EPYC Venice 서버에는 "MEXT Ready" 배지가 붙고 오프로드용 전용 NVMe 드라이브 또는 베이가 탑재됩니다. 2단계에서는 이러한 서버에 MEXT 라이선스와 RAM View 애플리케이션이 제공됩니다. AMD는 2단계가 언제 시작될지는 밝히지 않았습니다.

AI 주도의 DRAM 가격 급등은 게이밍 PC에만 영향을 미치지 않습니다. AI 워크로드를 운영하지 않는 기업들도 가격 인상의 여파를 크게 느끼고 있습니다. MEXT가 AMD의 주장대로 성과를 낼 수 있다면, 현재 시장 상황을 고려할 때 판도를 바꿀 수 있습니다. 따라서 MEXT가 무엇이며 AMD가 이 기술로 무엇을 할 수 있다고 주장하는지 이해할 가치가 있습니다.

MEXT는 개념상 흥미롭지만, AMD는 출시에 있어 분명히 보수적인 접근을 취하고 있습니다. 결국 이례적인 주장에는 이례적인 증거가 필요하기 때문입니다. 현재 MEXT의 적용 범위는 좁지만, AMD는 MEXT를 적용하는 워크로드를 확대하고 있으며 초기 결과도 유망하다고 밝혔습니다.

DRAM, 플래시, 그리고 LLM

MEXT의 기본 구조는 개념적으로 단순합니다. 사용 빈도가 낮은 페이지는 플래시로 옮겨지고, AI가 필요할 때 그 페이지를 다시 가져오므로 마치 메모리가 처음부터 빠져 있지 않았던 것처럼 동작합니다. 주된 문제는 분명합니다. 플래시는 DRAM보다 몇 배나 느리기 때문에, 필요할 때마다 플래시에서 페이지를 메모리로 스트리밍하는 방식은 현실적이지 않습니다. MEXT의 핵심은 AI 모델을 사용해 필요한 페이지를 예측하는 데 있습니다. 모델이 SSD에서의 전송 지연 시간 이상으로 미리 앞서 있는 한, 물리적 DRAM이 처음부터 설치되어 있던 것과 같은 효과가 납니다.

MEXT가 사용하는 트랜스포머 기반 LLM의 작동 방식을 생각하면 이것이 터무니없는 개념은 아닙니다. 내부 작동 원리에 익숙하지 않다면, 오픈소스 시각화 자료가 트랜스포머 AI 모델의 개념을 명확하게 설명하고 있습니다. 기본 아이디어는 현대 LLM 설계의 바탕이 되는 다음 토큰 예측입니다. 토큰(단어, 단어의 일부 등)이 주어지면 LLM은 다음에 올 가능성이 가장 높은 토큰을 판단합니다. MEXT의 경우 모델은 다음에 올 단어가 아니라 다음에 필요한 페이지를 예측합니다.

플래시로의 메모리 오프로딩은 새로운 개념은 아니지만, MEXT 창업자 Gary Smerdon은 AI가 결정적인 차이를 만든다고 말합니다. MEXT는 모든 Linux 배포판에서 작동하는 Linux 커널 모듈로 배포됩니다. 이 기술은 "AI 모델의 앙상블"을 사용하며, 주된 역할은 트랜스포머 기반 LLM이 담당합니다. 중요한 점은 사전 학습된 상태로 제공되지 않는다는 것입니다.

대신 AMD는 MEXT가 처음 배포될 때 1초 미만에 학습하며, GPU 없이 EPYC 코어 하나에서 작동하고, 워크로드가 진행됨에 따라 지속적으로 학습한다고 밝혔습니다. MEXT가 적용될 수 있는 워크로드가 다양하다는 점을 생각하면 이 접근 방식은 타당합니다. 각 애플리케이션의 접근 패턴을 학습해 예측 엔진을 구동한다는 구상입니다.

MEXT는 완벽하지 않지만, 모든 상황에서 완벽해야 할 필요는 없습니다. 예를 들어, 저장된 페이지의 순서는 중요하지 않습니다. 텍스트의 경우 LLM은 올바른 텍스트를 올바른 순서로 예측해야 하지만, MEXT에서는 순서가 중요하지 않습니다. 필요한 순간에 페이지가 DRAM에 있기만 하면 됩니다.

MEXT가 여러 워크로드에 어떻게 적용되는지 이해하기 위해, AMD는 이 기술과 함께 RAM View를 개발했습니다. 이는 어떤 페이지가 자주 사용되고 어떤 페이지가 더 이상 사용되지 않는지 보여주는 메모리 활용도 도구입니다. AMD가 제공한 예시에서, 1.5TB 메모리를 갖춘 시스템은 전체 워크로드 동안 거의 full에 가까운 활용도를 보였지만, 메모리에 저장된 페이지의 약 절반은 특정 시점에 5분 이상 접근되지 않았습니다. AMD는 어떤 워크로드를 테스트했는지 명확히 하지 않았습니다. 이는 중요한 부분인데, 서버에서 실행되는 애플리케이션에 따라 활용도 분석 결과가 크게 달라지기 때문입니다. 현재 AMD는 내부에서 사용하는 Synopsys PrimeTime과 같은 핵심 EDA 애플리케이션에 MEXT를 우선 적용하고 있습니다. 회사는 또한 에이전틱 AI, 데이터베이스, 미디어 및 엔터테인먼트 워크로드의 최적화에도 집중해 왔다고 밝혔습니다.

이는 애플리케이션마다 메모리 접근 패턴이 다를 뿐 아니라, 시스템의 메모리가 부족할 때 성능이 다르게 반응하기 때문에 중요합니다. AMD가 "메모리 벽(memory wall)"이라고 부르는 개념은 서버를 만져보지 않은 사람에게도 익숙할 것입니다. MEXT로 AMD는 이 메모리 벽을 확장하려고 하며, 이는 애플리케이션마다 다르게 나타날 수 있습니다.

예를 들어, 회사는 많은 워크로드가 용량을 약 20%에서 25%까지 줄일 수 있다고 확신하고 있습니다. 그러나 감소 폭이 커질수록 애플리케이션은 더 특화되고 성능 격차는 커집니다.

AMD의 내부 MEXT 결과

AMD는 인상적으로 보이는 내부 MEXT 결과를 공유했지만, 늘 그렇듯 자사 벤치마크는 회의적으로 볼 필요가 있습니다. 지금까지 MEXT 작업의 상당 부분을 집중해 온 PrimeTime부터 살펴보면, 회사는 50% 용량으로 실행되는 서버가 전체 서버 성능의 95%를 유지한다고 밝혔습니다. 25% 용량까지 줄여도 애플리케이션 성능의 80%를 유지한다고 합니다.

PrimeTime은 대형 설계에 많은 메모리를 필요로 합니다. AMD에 따르면 일부 애플리케이션은 거의 동일한 성능을 보입니다. AMD는 5세대 EPYC CPU를 탑재한 Azure의 3노드 클러스터에서, TPC-DS 벤치마크의 Spark SQL 워크로드를 실행했을 때 MEXT가 DRAM 용량 50%에서 전체 클러스터 성능의 99%를 제공한다고 밝혔습니다. SQL 데이터베이스는 I/O 병목을 막기 위해 가능한 한 많은 데이터를 메모리에 캐시하려고 하는데, 이는 사용 빈도가 낮은 페이지를 확보하는 것을 목표로 하는 MEXT 같은 기술에 아주 좋은 기회를 만들어 줍니다.

현재 가장 적용 가능성이 높은 워크로드는 아마 에이전틱 AI일 것이며, AMD는 MEXT가 그곳에서도 유사한 적용 가능성을 가진다고 말합니다. 동시 실행되는 5개 에이전트의 기하평균에서, AMD는 메모리 용량 50%에서 전체 서버 성능의 99%, 25%에서 85%를 달성한다고 주장합니다. "메모리 집약적" 에이전트의 경우, AMD는 각각 50%와 25% 용량에서 90%와 88%의 성능을 주장합니다.

해당 슬라이드에는 각주 표시가 있지만, AMD는 아직 각주를 공개하지 않았으므로 이 테스트가 어떻게 실행되었는지는 알 수 없습니다. 우리는 AMD가 최소한 MEXT의 성능을 가능한 한 가장 좋게 보여주었다고 가정합니다. 테스트 조건을 알지 못하면 전체 분석은 불가능합니다.

MEXT 출시에 대한 AMD의 신중한 접근은 주목할 만합니다. 현재 MEXT는 EPYC 전용 기능이며, AMD는 Strix Halo와 같은 소비자 기기를 포함해 향후 제품에 대한 지원 가능성도 열어 두었지만 이는 한참 먼 이야기입니다. 이 기술은 RAM View 소프트웨어와 묶인 라이선스로 판매될 예정이지만, 아직 일정은 없습니다. 또한 "MEXT Ready" 서버를 확산시키기 위한 HPE와의 파트너십이 있음에도, MEXT 자체가 AMD 외부에서 배포될 준비가 언제 될지는 여전히 알 수 없습니다.

이처럼 보수적인 접근을 고려하면, 우리가 아직 보지 못한 MEXT의 함정이 있을 가능성이 큽니다. 최소한 AMD가 벤치마크에서 보여준 50%와 25%의 DRAM 용량 수준에서는, 모든 서버에 폭넓게 적용될 것이라고 상상하기 어렵습니다.

그럼에도 서버 DRAM 용량의 25%를 줄이는 것은 현재의 공급 제약 환경에서 막대한 비용 절감을 의미합니다. 일부 워크로드에서 이를 50%까지 끌어올릴 수 있다면 더욱 좋습니다. MEXT가 광범위하게 제공된 뒤 어떻게 작동하는지 지켜봐야 하지만, AMD의 주장이 사실로 드러난다면 메모리가 늘 부족한 데이터센터에서 결정적인 기술이 될 수 있습니다.