Qualcomm은 지연 시간을 줄이고 대역폭 효율성을 높이기 위해 연산 장치를 메모리 바로 옆에 배치하는 차세대 칩 아키텍처를 개발 중입니다.

퀄컴은 차세대 AI의 비용이 많이 들고 종종 간과되는 병목 현상인 데이터 이동을 어떻게 해결하는지 High Bandwidth Compute(HBC) 아키텍처를 통해 상세히 설명했습니다. DRAM을 로직 다이 위에 직접 적층하고 데이터가 위치한 곳에서 데이터 집약적 연산을 수행함으로써 HBC는 메모리와 프로세서 간의 광폭 인터페이스 필요성을 제거합니다. Dragonfly AI250에는 HBC Gen 1이 탑재되어 출하될 예정이며, 다가오는 Dragonfly AI300에는 Gen 2가 특징으로 적용됩니다. 추론 스택 최적화를 담당하는 독립 소프트웨어 벤더(ISV)와 패키징 전략을 평가하는 실리콘 팀에게 이러한 아키텍처 변화는 산업계가 AI 성능을 측정하는 방식을 근본적으로 바꿉니다.

생성형 AI 워크로드는 원시 연산 속도로는 극복할 수 없는 근본적인 제약을 드러냅니다. 각 토큰을 생성하려면 메모리에서 방대한 양의 모델 파라미터와 누적된 컨텍스트를 가져와야 하므로, 실제 산술 연산은 데이터 전송 비용에 비해 미미한 수준입니다. 지난 10년 동안 컴퓨팅 능력은 급증했지만, 메모리 대역폭은 크게 뒤처졌습니다. 트랜스포머 모델 크기는 약 2년마다 240배 성장한 반면, 같은 기간 동안 AI 하드웨어의 메모리 용량은 단 2배만 증가했습니다. 이러한 격차는 가속기 중 연산 대상이 도착하기를 기다리며 대기하는 시간이 늘어남에 따라 더 많은 부분이 유휴 상태로 남게 만듭니다.

그림 1. 세대를 거듭하며 컴퓨팅 능력이 가파르게 상승했습니다. 메모리 대역폭은 훨씬 느리게 성장했으며, 이 widening gap(확대되는 격차)이 실제 AI 성능을 점점 더 결정짓고 있습니다. (출처: 퀄컴)

산업계의 기존 해결책은 동일한 기본 레이아웃을 통해 더 많은 대역폭을 밀어넣는 것입니다. 메모리와 컴퓨팅을 분리된 구성 요소로 유지하고 그 사이의 연결 경로를 넓히는 방식입니다. 그러나 이 접근법은 물리적 및 경제적 한계에 빠르게 부딪힙니다. 광폭 인터페이스는 추가 와이어와 핀을 필요로 하여 비용과 복잡도를 높이지만, 얻는 편익은 점차 감소합니다. 분리된 메모리와 컴퓨팅 다이 사이를 전송되는 모든 비트는 에너지와 지연 시간을 소모하며, 현재 규모에서는 이러한 데이터 이동이 전력 예산의 대부분을 차지합니다. 또한 CoWoS와 같은 2.5D 인터포저를 포함한 고급 메모리 통합 기술은 금지될 정도로 높은 비용과 심각한 공급 제약으로 인해 최상위 성능이 제한된 배포 영역에만 국한됩니다.

퀄컴의 솔루션: 메모리 인접 컴퓨팅

퀄컴의 HBC 아키텍처는 컴퓨팅 로직을 메모리 바로 옆에 배치하여 데이터가 통과해야 하는 칩 경계 횡단을 제거합니다. 이 설계는 전통적인 긴 가장자리 HBM 인터페이스에 의존하지 않고, LPDDR DRAM 패키지를 로직 또는 컴퓨팅 다이 위에 수직으로 적층하여 밀집한 TSV(Through-Silicon Vias)를 통해 레이어를 연결합니다. 표준 2D 유기 기판에서 작동함으로써 퀄컴은 공급이 제한된 2.5D 인터포저 패키징을 완전히 우회합니다. 퀄컴은 이 아키텍처를 메모리 내 컴퓨팅 패러다임과 구별되는 근접 메모리 컴퓨팅(near-memory computing)으로 분류하며, 기존 HBM 대비 와트당 대역폭이 최대 6배 더 높고 온칩 SRAM이 제공할 수 있는 것보다 훨씬 큰 와트당 용량을 제공한다고 주장합니다.

그림 2. 두 가지 경쟁 철학: 데이터 이동이 에너지 예산의 대부분을 차지하게 되면, 데이터를 운반하는 대신 데이터 근처에서 계산하는 것이 시스템 경제학을 근본적으로 재편합니다. (출처: 퀄컴)

이 아키텍처는 주요 프로세서를 대체하지 않습니다. 퀄컴 Dragonfly AI 가속기는 복잡하고 유연한 오케스트레이션 작업을 계속 담당하는 반면, HBC는 피드하는 데 비용이 너무 많이 드는 메모리 바운드 작업을 맡습니다. 각 구성 요소는 자신의 설계에 가장 적합한 워크로드를 실행합니다.

퀄컴은 HBC Gen 1을 Dragonfly AI250 랙 스케일 플랫폼에 통합했으며, 이 플랫폼은 카드당 133 TB/s의 유효 대역폭을 제공할 예정입니다. 이는 Dragonfly AI200의 LPDDR5X 구성 대비 유효 메모리 대역폭이 18배 증가한 수치입니다. HBC Gen 2는 곧 출시될 Dragonfly AI300 플랫폼에서 데뷔하여 AI200 기준선 대비 54배 증가를 목표로 합니다. 최근 분석가 미팅에서 퀄컴의 기술 기획, 엣지 솔루션 및 데이터 센터 총괄 부사장 겸 일반 관리자(Durga Malladi)는 회사의 투자자 데이에서 공개된 로드맵을 다시 한번 강조했습니다. 그녀는 첫 번째 세대 HBC가 회계연도 2027년에 상용화될 것이며, 즉각적인 초점이 연구 및 테스트 칩에서 대량 생산으로 전환될 것이라고 확인했습니다.

퀄컴은 또한 HBC를 단일 독점 플랫폼과 분리된 모듈식 인프라 구성 요소로 포지셔닝했습니다. 고객은 퀄컴의 다른 가속제 제품 채택 없이도 퀄컴 CPU를 단독으로, HBC를 단독으로, 또는 조합하여 배포할 것으로 예상됩니다. 이러한 모듈식 프레임워크는 퀄컴의 광범위한 추론 전략과 일치합니다. 클라우드, 엣지, 하이브리드 환경 전반에 걸친 AI 배포를 예상하는 회사는 자체 기반 모델을 개발하기보다는 오픈 생태계의 모델을 지원할 계획입니다. 퀄컴은 효율성(에너지 소비 및 토큰 생성 처리량으로 측정됨)이 점점 더 결정적인 경쟁 지표가 되고 있다고 강조했습니다.

최근 인수한 Modular 소프트웨어 스택은 퀄컴의 가치 제안에 더욱 힘을 실어줍니다. 서드파티 하드웨어 플랫폼에서 실행하도록 설계된 이 스택은 퀄컴은 개방적이고 널리 접근 가능하다고 마케팅하며, 기존 대안 대비 상당한 성능 개선을 인용합니다. 회사는 초기 파일럿 참여 과정에서 하이퍼스케일러로부터 압도적으로 긍정적인 피드백을 받았다고 밝혔습니다.

Q&A 세션에서 분석가들은 구현 세부 사항에 집중했습니다. 질문은 패키징 기술, TSV 정렬, 열적 제약 조건, 메모리 벤더 참여, 광 인터커넥트, 제조 수율, 소프트웨어 생태계 영향, JEDEC 표준 준수 여부, 그리고 미래의 disaggregated 메모리 아키텍처를 다루었습니다. 퀄컴은 메모리 파트너와의 활발한 협력과 비공개 제품 로드맵을 이유로 여러 기술적 세부 사항을 숨겼습니다.

퀄컴은 AI 인프라 구매자가 수정된 평가 프레임워크가 필요하다고 주장합니다. 전통적인 헤드라인 컴퓨팅 메트릭은 구매자들이 메모리 바운드 워크로드에 대한 전달된 성능, 와트당 성능, 달러당 성능 비율을 우선시함에 따라 관련성을 잃어가고 있습니다. 이는 피크 이론적 처리량으로부터 초점을 이동시킵니다. 에너지 소비는 하이퍼스케일에서 주요 운영 비용이자 엄격한 물리적 제약으로 부상하며, 데이터 이동을 최소화하는 아키텍처에 복리 구조적 이점을 부여합니다. 이러한 패러다임 내에서 메모리는 수동 저장 매체에서 능동적 컴퓨팅 참여자로 전환되며, 이는 칩 아키텍처부터 데이터 센터 경제학에 이르기까지 광범위한 파급 효과를 낳습니다.

퀄컴은 HBC를 구조적 산업 과제에 대한 직접적인 대응책으로 포지셔닝합니다. 컴퓨팅에서 희소한 자원은 원시 산술 연산에서 시의적절하고 비용 효율적인 데이터 전달로 이동했습니다. 회사의 로드맵(AI250의 Gen 1부터 AI300의 Gen 2까지)은 ISV와 실리콘 엔지니어링 팀에게 명확한 설계 목표를 제공합니다. 동시에 CIO와 IT 조달 리더들에게 피크 FLOPS 마케팅 주장을 넘어 AI 인프라 투자를 평가하기 위한 새로운 프레임워크를 제공합니다.

그림 3. 용량, 대역폭, 컴퓨팅은 HBC와 시너지 있게 확장됩니다. 기존 아키텍처는 디자이너들이 이 중 하나를 선택하도록 강요합니다. (출처: 퀄컴)

실리콘 엔지니어링 팀에게 근접 메모리 패러다임은 CoWoS 공급 병목 현상으로 인해 이전에 제한되었던 viable 패키징 옵션을 되돌려 줍니다. ISV에게는 순수 코어 수가 아닌 메모리 지역성(memory locality)을 기반으로 워크로드를 스케줄링할 수 있는 소프트웨어의 중요성이 높아집니다. 한편, 다년간의 AI 인프라 계약을 협상하는 CIO들은 피크 FLOPS를 넘어 서비스되는 토큰당 총 에너지 소비라는 2차 평가 지표를 얻게 되며, 이는 AI 플리트가 확장됨에 따라 운영 비용에 선형적으로 비례하는 수치입니다.

HBC는 퀄컴에게 원시 컴퓨팅 메트릭에서 NVIDIA와 AMD와 직접 경쟁하지 않고도 추론 인프라 시장에서 신뢰할 만한 입지를 제공합니다. 근접 메모리 전략은 진정한 물리적 한계를 공격하는 반면, 표준 기판 패키징은 현재 경쟁사 벤더들을 압박하고 있는 CoWoS 공급 제약을 우회합니다. 상용화가 아직 두 회계연도 남아 있어 실행 위험은 지속되지만, Gen 2가 규모를 달성하는 속도는 메모리 벤더들의 지속적인 협력에 크게 달려 있을 것입니다.

산업의 전환점인가? HBC는 AI 인프라 디자인에서 중요한 전환점을 알릴 수 있습니다. 지난 10년 동안 산업계는 컴퓨팅 밀도를 지속적으로 추가하고 메모리 인터페이스를 넓힘으로써 가속기를 확장해 왔습니다. 퀄컴의 데이터에 따르면 워크로드가 심화됨에 따라 이 궤적이 물리적 및 경제적 한계에 도달하고 있습니다. 근접 메모리 아키텍처가 데이터 센터, PC, 자동차 시스템, 확장 현실(XR), 산업 응용 분야 전반에 걸쳐 확산된다면, 경쟁 구도는 피크 FLOPS에서 와트당 대역폭 효율성으로 전환될 것입니다. 이 전환은 ISV가 소프트웨어를 최적화하는 방식과 CIO들이 다년간의 조달 주기 전반에 걸쳐 AI 인프라 획득을 평가하는 방식을 근본적으로 재편할 것입니다.

여기서 읽은 내용이 마음에 들었다면, 아끼지 말고 친구들에게 공유하세요.