d-Matrix는 차세대 칩이 NVIDIA Rubin 대비 대역폭 밀도를 20배 향상시켰다고 주장한다.
AI 추론 워크로드에서는 프리필(prefill)과 디코드(decode)라는 두 가지 상이한 단계가 주요 부분을 차지합니다. 디코드 단계는 엄격하게 메모리 대역폭에 의해 제한되기 때문에 압도적으로 시간이 더 많이 소요되는 부분입니다. 프리필에는 상당한 이점을 제공하는 가용 컴퓨팅 파워와 무관하게, 디코드 성능은 메모리 처리량에 의해 제약됩니다. 이러한 병목 현상을 해결하기 위해 Groq(NVIDIA가 최근 그 기술을 인수함) 및 d-Matrix와 같은 기업들은 막대한 SRAM 어레이를 갖춘 칩을 개발하여 exceptional한 메모리 대역폭을 제공해 왔습니다. 이제 d-Matrix는 근본적으로 다른 각도에서, 즉 컴퓨팅 레이어 아래에서 대역폭 문제를 해결하는 새로운 접근 방식을 제시합니다.
랩터(Raptor)라고 명명된 새로운 가속기는 3D DRAM 기술을 활용합니다. Ryzen 9000 CPU 코어 아래에 SRAM 캐시 다이(die)를 배치하여 열 성능을 최적화한 AMD의 두 번째 세대 3D V-Cache와 유사하게, d-Matrix는 메모리를 로직 다이(logic die) 바로 아래에 적층합니다. 그러나 SRAM 대신 랩터는 최대 용량을 극대화하기 위해 최대 4개의 DRAM 레이어를 사용합니다. 이러한 구성은 하이 밴드위스 메모리(HBM)보다 낮은 밀도를 제공하지만, d-Matrix는 차기 루빈(Rubin) 아키텍처 대비 약 20배의 대역폭 밀도와 기가바이트당 전송 전력 소비량의 13.5배 감소를 달성했다고 주장합니다.
이러한 수치는 HBM이 물리적 한계에 도달하면서 현대 AI 프로세서가 직면한 중요한 제한 사항을 직접적으로 해결합니다. HBM 스택은 실리콘 인터포저(interposer) 위에서 컴퓨팅 다이 옆에 위치하므로, 칒 주변부에 배치할 수 있는 I/O 핀의 유한한 수로 인해 대역폭이 본질적으로 제한됩니다. 또한 인터포저를 가로질러 데이터를 라우팅하려면 상당한 전력을 소모하는 전용 인터페이스 드라이버(PHY)가 필요하며, 이는 고급 패키지에서 수백 와트에 달하기도 합니다. 랩터는 TSMC N4 로직 다이를 DRAM 스택 위에 직접 융합하기 위해 36마이크론 피스 투 페이스(face-to-face) 본딩을 채택함으로써 이러한 제약을 우회합니다. 이 설계는 PHY를 완전히 제거하여 전자들이 다이 전체 면적에 걸쳐 단 몇 마이크론만 수직으로 이동하도록 합니다. 그 결과 SRAM급 대역폭을 제공하면서도 I/O 에너지는 약 0.37 pJ/bit로 감소합니다.
랩터의 카드당 32GB 용량은 일반적인 HBM 구성보다 낮지만, 이러한 트레이드오프는 거대 프론티어 모델을 훈련시키는 것이 아닌 AI 추론이라는 의도된 목적과 부합합니다. 초고가의 저용량 SRAM 블록과 고밀도 HBM 스택 사이에 위치한 랩터는 수평 확장(horizontal scaling)을 위해 설계되었습니다. d-Matrix는 고속 파이버(fabrics)로 연결된 72개 카드 설정과 같은 랙 스케일 클러스터에서 칩을 배포할 계획입니다. 이러한 구성에서 집합 메모리 대역폭은 페타바이트/초 범위로 선형적으로 확장되어 노드 간 매개변수 분산을 원활하게 지원하고, 디코드 단계 중 병목 현상 없이 백만 토큰 이상의 컨텍스트 윈도우를 지원합니다.
d-Matrix의 성능 전망은 매우 야심적입니다. 아키텍처 슬라이드 외에도 상세 사양은 제한적입니다. 동사는 랩터가 "1M 컨텍스트에서 3T 클래스 모델"을 서비스하면서 사용자당 초당 약 1,000개의 토큰을 제공할 수 있다고 주장합니다. 지원 벤치마크에 따르면 GLM 5.2를 실행 중인 32명의 동시 사용자에게서 사용자당 초당 2,121개의 토큰을, Kimi K3 모델을 실행 중인 32명의 사용자에게서 사용자당 초당 785개의 토큰을 달성한 풀 랙 구성이 확인되었습니다. 최근 핫 칩스(Hot Chips) 발표는 주로 로직 아래에 DRAM을 적층하는 d-Matrix의 엔지니어링 솔루션을 강조했는데, 이는 새로운 개념은 아니지만 상당한 제조상의 난제를 제시합니다. 현재로서 이러한 수치는 검증되지 않은 추정치이며, 라이브 제품 데모는 아직 진행되지 않았습니다. 그럼에도 불구하고 d-Matrix는 검증되지 않은 주장을 하는 초기 단계 벤처들과 구별되도록 이미 상업용 제품을 출하했습니다. 랩터가 명시된 목표를 달성할 수 있는지 검증하려면 추가 세부 사항과 서드파티 벤치마크가 필수적입니다.