TrendForce, AI 메모리 장벽을 해결하기 위한 새로운 접근법으로 HBM 용량 14배 확대와 XPU당 3.2TB 제시

지난 몇 달 동안 TrendForce는 AI 인프라를 그 병목 지점을 통해 추적해 왔습니다. 패키징, 소재, 전력, 메모리 제약은 각각 컴퓨팅 확장의 한계를 정하는 요인입니다. 그중 메모리는 계속해서 다시 떠오르는 문제입니다. 추론이 다중 턴 에이전트와 더 긴 컨텍스트 방향으로 이동하면서, GPU 가까이에 머물러야 하는 KV 캐시와 모델 파라미터는 계속 늘어나는 반면 HBM의 용량은 여전히 제한되어 있습니다.

2026 OCP 글로벌 서밋(10월 12일~15일)에서 여러 벤더가 HBM을 넘어 메모리 계층을 확장하는 데 초점을 맞춘 AI 메모리 장벽에 대한 새로운 해법을 발표했습니다. SK hynix는 메모리를 전용 랙으로 옮기고 GPU 옆에 NAND를 적층하는 방안을 제안했습니다. Metrum AI와 Solidigm은 공유 SSD 풀이 지연 시간과 전력에 미치는 영향을 측정했습니다. Nallasway와 파트너사들은 고속 SerDes를 통해 3.2TB의 LPDDR5X를 연결하는 XPU 모듈을 설계했습니다.

이러한 접근법들은 시스템의 서로 다른 수준에서 작동하며, 공개된 사양 단계부터 초기 설계 단계까지 각기 다른 단계에 있습니다. 이 기사는 각각의 접근법, 그 근거가 되는 데이터, 그리고 현재 위치를 자세히 살펴봅니다.