Qualcomm Dragonfly 데이터센터 아키텍처가 고대역폭 컴퓨팅 기술을 스마트폰에 도입; 온디바이스 AI 실현
인공지능이 클라우드 데이터 센터에서 우리가 매일 사용하는 기기로 빠르게 이동하고 있습니다. 초기 생성형 AI는 고가의 그래픽 프로세서로 채워진 대규모 컴퓨팅 팜에 의존했습니다. 다음 단계는 더 많은 컴퓨팅을 스마트폰, 노트북, 자동차로 직접 옮겨 AI를 더 빠르고, 저렴하고, 더 개인적으로 만듭니다.
이러한 전환은 칩 제조업체들의 전쟁터가 되었습니다. Qualcomm은 AI 데이터 센터용으로 개발하고 있는 동일한 기술이 결국 차세대 엣지 디바이스를 구동할 수 있다고 믿고 있습니다.
Qualcomm의 전략의 중심에는 고대역폭 컴퓨트(HBC)라고 불리는 새로운 칩 아키텍처가 있습니다. 이는 through-silicon vias (TSVs)를 사용하여 수직으로 적층된 LPDDR 메모리 바로 아래에 전용 AI 가속기 로직을 배치하여 데이터가 메모리와 컴퓨트 사이를 이동해야 하는 거리를 획기적으로 단축합니다. 해결하는 문제는 간단명료합니다: 현대의 AI 모델들은 메모리와 프로세서 사이에서 데이터를 왕복으로 이동시키는 데 엄청난 시간을 소비하는데, 엔지니어들은 이를 "메모리 벽"이라고 부릅니다. AI 모델이 커질수록 이러한 데이터 이동은 계산 자체보다 더 많은 전력을 소비하게 됩니다.
Qualcomm은 HBC가 전통적인 고대역폭 메모리(HBM) 설계보다 이점을 제공한다고 주장하며, 이는 클라우드 제공업체뿐만 아니라 전력 효율이 순수 성능만큼 중요한 스마트폰, PC, 자동차 시스템에도 어필할 수 있는 입장입니다.
Qualcomm이 완전히 새로운 컴퓨팅 카테고리를 발명하는 것은 아닙니다. Nvidia, Advanced Micro Devices, Samsung, Micron Technology, SK hynix는 이미 AI 가속기에서 고급 3D 메모리 적층을 활용하고 있습니다. AMD의 MI300 제품군은 CPU, GPU, HBM을 긴밀하게 통합된 패키지로 결합하는 반면, Samsung은 processing-in-memory 기술에 대규모 투자를 해왔습니다.
Qualcomm의 접근 방식을 구별하는 점은 학습이 아닌 추론에 초점을 맞춘다는 것입니다. 추론(AI 응답 생성)은 장기적으로 가장 큰 AI 워크로드가 되고 있습니다. 저전력 LPDDR 메모리를 near-memory 컴퓨트와 결합함으로써 Qualcomm은 총 시스템 비용을 줄이면서 와트당 더 나은 성능을 제공할 수 있다고 믿습니다. 이는 Qualcomm의 역사적 강점과 일치합니다: 배터리로 구동되는 기기용 칩 최적화에 수십 년을 투자하여 LPDDR 메모리와 전력 관리에 깊은 전문 지식을 보유하고 있습니다. 스마트폰에서 AI 서버로 이러한 기능을 확장하고 다시 소비자 기기로 아키텍처를 가져오는 것은 이례적이지만 논리적인 로드맵입니다.
**AI에 대한 클라우드의 지배력이 약해지고 있습니다. Qualcomm의 6배 더 효율적인 HBC 아키텍처는 마침내 하드웨어 병목을 깨는 무기입니다.** © 24/7 Wall St.
열 관리가 가장 큰 과제로 남아 있습니다. 메모리 바로 아래에 로직을 적층하면 주요 엔지니어링 문제가 발생합니다: 컴퓨트 다이에서 생성된 열은 냉각 솔루션에 도달하기 전에 여러 실리콘 층을 통해 위로 이동해야 하므로, 성능을 저하시키거나 부품 수명을 단축시킬 수 있는 핫스팟이 발생합니다. 데이터 센터는 액체 냉각 및 정교한 열 관리 시스템으로 이를 처리할 수 있습니다. 스마트폰, 노트북, 자동차는 공간과 전력 제약이 훨씬 더 엄격합니다. Qualcomm은 여러 요인이 이러한 열 관리 과제를 해결하는 데 도움이 된다고 믿지만, 투자자들은 결론을 내리기 전에 독립적인 벤치마크를 기다려야 합니다.
Qualcomm의 고대역폭 컴퓨트 아키텍처는 기존 반도체 설계의 혁명적 전환은 아니지만, AI 컴퓨팅의 중요한 진화가 될 수 있습니다. 대규모 AI 학습 클러스터에서 Nvidia를 따라가기보다는 Qualcomm은 무차별 대입이 아닌 효율성을 중심으로 설계된 아키텍처로 다음 물결의 AI 추론을 목표로 하고 있습니다.
Qualcomm이 성공하면 그 성과는 데이터 센터를 훨씬 넘어설 수 있습니다. 스마트폰, PC, 연결된 자동차는 더 큰 AI 모델을 로컬에서 실행하여 클라우드 비용을 줄이고, 개인 정보 보호를 개선하고, 배터리 수명을 연장할 수 있습니다. 남은 질문은 Qualcomm이 열 설계 및 제조 접근 방식이 규모에서 작동함을 증명할 수 있는지 여부입니다. 장기 투자자들의 경우 이러한 벤치마크와 초기 고객 배포를 주의 깊게 모니터링할 가치가 있을 것입니다.