마이크론과 퀄컴은 차세대 메모리 아키텍처를 놓고 상반된 전략을 추진 중이다.

AI 인프라는 공통된 병목 현상에 직면해 있습니다. 현재 데이터를 이동하는 비용이 연산하는 비용보다 더 비쌉니다. 퀄컴과 마이크론은 각각 동일한 제약 조건의 반대편 끝을 겨냥한 솔루션을 설계했습니다. 퀄컴의 하이 밴드위스 컴퓨트(HBC) 아키텍처는 단일 패키지 내에서 메모리 위에 직접 연산을 적층합니다. 마이크론은 연산과 메모리를 분리된 구성 요소로 유지하며, 램버스, 인피니온, 에버스핀이 지원하는 더 넓은 계층 구조의 메모리 티어에 걸쳐 워크로드를 분배합니다. 두 전략 모두 동일한 전제에 기반합니다. 즉, 메모리가 이제 연산만큼이나 AI 성능을 결정적으로 좌우한다는 것입니다.

퀄컴은 밀도 높은 실리콘 관통 비아(TSV)를 사용하여 논리 다이(logic die)를 LPDDR 패키지 바로 아래에 적층함으로써 HBC 아키텍처를 구현하며, 이는 효과적으로 연산과 메모리 간의 경계를 제거합니다. 마이크론은 차별화된 접근 방식을 취하여 연산과 메모리를 구분된 상태로 유지하고, 비용, 전력, 지연 시간(latency)에 최적화된 계층적 메모리 계층 구조 전반으로 확장합니다. 램버스, 인피니온, 에버스핀은 각각 해당 계층 구조의 핵심 구성 요소를 공급하며, AI의 확대되는 수요가 단일 패키지 해결책보다는 다중 기술 솔루션을 필요로 한다는 확신 하에 운영됩니다.

공급 제약과 자본 흐름은 마이크론의 전략을 뒷받침합니다. 현재 HBM 수요는 공급을 상회하며, AI 가속기가 제조업체가 생산할 수 있는 모든 기가바이트를 흡수하고 있어 엔지니어들은 스마트폰에서 유래한 메모리 기술을 데이터 센터용으로 재사용하도록 유도하고 있습니다. 저전력 DRAM(LPDDR)과 소형 압축 부착 메모리 모듈(SOCAMM)은 와트당 성능이 결정적인 지표가 되면서 AI 랙 내 역할 경쟁을 벌이고 있으며, 이는 ISV, 실리콘 팀, CIO의 조달 계산(calculus)을 근본적으로 재편하고 있습니다.

원래 배터리 제약이 있는 기기를 위해 스마트폰 제조사들이 설계한 LPDDR은 낮은 전력 소비와 컴팩트한 폼 팩터 강조 덕분에 현재 데이터 센터의 우선순위와 정확히 일치합니다. JEDEC의 차기 LPDDR6 사양은 모바일 플랫폼을 넘어 명시적으로 가속화 컴퓨팅 워크로드를 커버하기 위해 표준을 확장할 예정입니다. LPDDR과 결합된 SOCAMM 폼 팩터는 CPU 근처에서 더 높은 용량과 에너지 효율성을 제공하며, 토큰 집약형 모델의 메모리 벽(memory wall)을 좁히는 동시에 표준 DDR5 RDIMM 대비 약 3분의 1의 전력만 소모합니다. 퀄컴의 HBC가 패키지를 재정의한다면, SOCAMM은 모듈과 소켓을 재정의하여 CPU-메모리 경계는 구조적으로 그대로 유지합니다.

마이크론이 최근 출시한 256GB SOCAMM은 밀집 가능하고 서비스 가능한 서버 빌드를 목표로 하며, 기존 RDIMM이 허용하는 것보다 CPU 당 훨씬 더 많은 메모리를 제공합니다. 마이크론의 1-감마 DRAM 공정과 단결정(monolithic) 32Gb 다이(die)로 구축된 이 모듈은 HBM에서 KV 캐시를 오프로딩하여 첫 번째 토큰까지의 지연 시간을 줄입니다. (출처: 마이크론)

저전력 DRAM은 오늘날 데이터 센터에서 진정한 기회를 보유하고 있습니다. 마이크론은 제품의 기능 세트와 밀접하게 일치하는 애플리케이션 공간을 식별합니다. AI 워크로드가 계속 추론(inference) 쪽으로 이동함에 따라 응답 시간과 메모리 발자국(memory footprint)이 핵심 설계 제약 조건이 되어 메모리 대역폭이 극도로 중요해지고 있습니다.

반면 퀄컴은 전통적인 HBM이 제공하는 것보다 와트당 최대 6배 더 높은 대역폭을 보고하며, 이는 칩 경계 교차를 완전히 제거함으로써 달성된 성과입니다. 이 회사는 이 전략을 하나의 가속기 패밀리용으로 설계된 단일 적층 패키지에 집중하며, 성공 여부를 와트당 대역폭 배수로 측정합니다. 오늘 기준 드래곤플라이 AI250 카드당 유효 대역폭 133 TB/s를 제공하며, HBC Gen 2가 2027 회계연도 상업화를 목표로 하는 AI300에 탑재되면 AI200 베이스라인 대비 54배 증가를 목표로 합니다.

마이크론은 이미 여러 벤더가 출하한 JEDEC 표준 하드웨어 전반에 걸쳐 전략을 분산시켜, 현재 SOCAMM 표준을 채택하는 어떤 서버 플랫폼에서도 배포할 수 있도록 합니다. 퀄컴은 리스크와 보상을 단일 실행 타임라인에 집중하며 하나의 미래 제품 세대를 타겟팅합니다. 마이크론은 서버 빌더가 즉시 시작하여 점진적으로 채택할 수 있는 모듈식 계층 구조 전반에 이를 분산시킵니다.

마이크론은 SOCAMM을 HBM 대체재로 포지셔닝하지 않으며, 어느 회사도 자사의 아키텍처가 HBM을 완전히 제거한다고 주장하지 않습니다. 대신 이들은 더 넓은 계층 구조의 중간 티어를 차지합니다. 핫(hot) KV 캐시는 HBM에 남아 있고, 웜(warm) KV 캐시는 저전력 DRAM에 reside하며, 콜드(cold) KV 캐시는 고속 스토리지로 이동합니다.

그림 1. 마이크론의 SOCAMM HBM 대체재. (출처: 마이크론)

LPDDR과 SOCAMM은 칩 제조사들이 원래 AI용으로 설계했기 때문이 아니라, 용량과 빠른 액세스 시간 측면에서 입지를 넓혀가고 있습니다. AI 수요는 HBM을 완전히 점유시키고 있으며, 이 기술은 AI 때문에 이미 할당되어 있으며, 이는 다시 DRAM에 압박을 가합니다. 초거대 기업(hyperscalers)은 전기 및 시스템 비용을 엄격하게 산출하기 때문에 효율성을 최우선으로 고려합니다. 이는 퀄컴의 스택드 패키지 프리미엄이 더 좁은 타겟 프로필에 맞는 워크로드에 대해 정당화되는 것과 같은 경제적 논리에 기초합니다.

**램버스 및 인피니온, 퀄컴이 생략한 계층 구조 확장**

램버스는 최근 AI 시스템용 서버 모듈 칩셋의 계획된 패밀리 중 첫 번째 멤버인 LPDDR 기반 SOCAMM2 칩셋을 발표했습니다. 이는 퀄컴의 디자인이 완전히 우회하는 티어에 두 번째 공급자를 도입합니다. 램버스는 추론이 훈련과는 다른 환경이라고 지적하며, GDDR 및 DDR과 같은 저비용 대안이 종종 요구 사항을 충족시킨다고 말합니다. "GPU는 전력의 절반 이상을 데이터를 메모리로 이동시키는 데 사용합니다."라고 램버스의 펠로우이자 명성 있는 발명가인 스тивен 우(Steven Woo)는 말하며, 퀄컴의 단일 패키지 디자인에는 대응물이 없는 소프트웨어 정의 풀링 레이어인 CXL과 같은 인터커넥트가 집중적인 주목을 받는 이유를 강조했습니다.

인피니온 테크놀로지스는 AI 스택이 비용, 전력, 지속성(persistence)을 균형 있게 맞추기 위해 다수의 디바이스 클래스 티어가 필요하다고 주장합니다. 정점에 HBM, 지연 시간 민감 작업용 SRAM, 컨텍스트 보존 및 모델 저장을 위한 DRAM, CXL 풀 메모리, 플래시 SSD 등이 포함됩니다.

그림 2. 인피니온은 만능 해결책(one size fits all)을 믿지 않습니다. (출처: 인피니온)

인피니온은 NOR 플래시를 간과된 촉진제로 식별하며, 엔비디아의 GB200 랙이 부트 코드 및 키와 인증서를 저장하는 하드웨어 보안 앵커로서 이를 사용한다고 언급합니다. 이는 근접 메모리 연산(near-memory compute)이 얼마나 많이 이루어져도 복제할 수 없는 기능입니다. 인피니온은 AI 스택이 비용, 전력, 지속성을 다루기 위해 다수의 메모리 디바이스 클래스 티어가 필요하다고 유지합니다.

**MRAM, 퀄컴 디자인이 미치지 못하는 영역에서의 역할 주장**

NOR 플래시는 코드, 펌웨어, 영속적 상태(persistent state) 분야에서 MRAM으로부터 경쟁에 직면해 있으며, 이는 퀄컴의 HBC 범위 밖의 티어입니다. AI가 데이터 센터, 네트워크, 엣지로 확장됨에 따라 영속적 메모리 지원이 필수적입니다. 개별 MRAM은 보다 국소화된 추론을 가능하게 함으로써 데이터 센터 병목 현상을 완화합니다. 에버스핀의 새로운 UNISYST MRAM은 엣지 AI 및 산업용 디자인에 맞춰 단일 비휘발성 아키텍처 내에 코드 저장 및 데이터 메모리를 통합하며, NOR 플래시에 필요한 10~20분과 비교하여 FPGA 코드 작성 시간을 초 단위로 줄입니다.

랙 디자이너들은 근본적인 선택에 직면합니다. 연산-메모리 리스크를 하나의 패키지에 집중할 것인지, 아니면 기존 표준 전반에 분산시킬 것인지입니다. CXL 풀링은 후자의 경로를 가능하게 하여 유보된 용량을 줄이고 핀 밀도가 높은 인터페이스로부터 전력을 전환하여 엔지니어들이 지연 시간 민감 데이터를 로컬 DRAM에 고정하는 동안 무거운 데이터셋을 공유 풀로 오프로딩할 수 있게 합니다. 퀄컴은 전자 경로를 선택하여 하나의 가속기 라인에 대해 경계를 제거하는 단일 아키텍처 도약으로 연산과 메모리를 병합합니다. 마이크론, 램버스, 인피니온, 에버스핀은 후자를 선택하여 JEDEC 표준, CXL, DIMM 소켓을 활용하여 HBM, LPDDR, DDR, NOR, MRAM을 네 개의 독립적인 공급자에 걸쳐 확장합니다.

どちら의 진영도 결정적인 해결책을 주장하지 않습니다. 퀄컴의 스택드 패키지는 단일 가속기 라인에 대한 피크 효율성을 타겟팅하며 2027년으로 진행되는 통합 로드맵의 실행 리스크를 수용합니다. 마이크론, 램버스, 인피니온, 에버스핀은 폭(breadth)에 베팅합니다. 즉, 어떤 서버 빌더라도 현재 워크로드의 비용, 전력, 지연 시간 요구 사항에 맞게 메모리 유형을 혼합할 수 있는 유연한 계층 구조입니다. 두 접근 방식 모두 하나의 기본 전제를 공유합니다. 즉, 메모리가 이제 연산만큼이나 AI 성능과 경제학을 결정하며, 업계의 다음 파도의 성장은 엔지니어들이 데이터를 얼마나 정확하게 배치하느냐에 달려 있다는 것입니다.

퀄컴의 HBC는 하나의 패키징 전략에 리스크를 집중시키며 2회계연도 이후 더 큰 잠재적 보상을 가져옵니다. 마이크론의 티어링 접근 방식은 리스크를 4개 벤더와 기존 JEDEC 표준 전반에 분산시켜 즉각적인 구매자 옵션을 제공합니다. 두 반응 모두 동일한 진단을 검증합니다. 즉, 순수 산술 연산이 아닌 데이터 이동이 이제 AI 시스템 성능과 비용의 한계를 정의한다는 것입니다.

변곡점. 메모리 다양화는 AI 인프라의 구조적 전환을 표시합니다. 업계는 메모리를 단일 상품으로 취급하던 시대를 지나, 각기 특정 워크로드에 맞게 조정된 특수 티어의 포트폴리오로서 관리하는 단계로 이동했습니다. 퀄컴의 HBC는 메모리와 연산이 인터페이스하는 방식에서 자체적인 변곡점으로 패키징 통합을 포지셔닝합니다. 이러한 발전들은 함께 업계 전체의 리셋을 신호합니다. 구매자들은 이제 메모리 계층 구조 설계와 패키징 혁신을 동등한 비중으로 평가하며, 총 토큰당 에너지가 주요 구매 지표로서 피크 대역폭을 대체하고 있습니다.

퀄컴, 마이크론, 램버스, 인피니온, 그리고 이제 인텔이 메모리를 주의 깊게 관찰하고 있습니다.