d-Matrix, Squadron 멀티랙 AI 추론 클러스터를 공개하며 단일 칩 중심이던 추론 하드웨어를 완전한 멀티랙 시스템으로 확장했다.

d-Matrix는 2026년 10월 12일, 데이터센터 규모의 AI 추론을 위한 다중 랙 시스템 제품군인 Squadron을 발표했습니다. 창업자 겸 CEO인 Sid Sheth는 샌호세에서 열린 OCP 글로벌 서밋 개막일 기조연설에서 이 클러스터를 공개했습니다. 클러스터는 최대 16개의 SquadRack과 1,024개의 Corsair XPU까지 확장되며, 시스템은 우선 고객에게 출하되고 있습니다.

Squadron은 Arista, Broadcom, Supermicro와의 협력을 통해 개발되었습니다. d-Matrix는 이미 애리조나 데이터센터에 이 시스템을 배치해 내부 연구개발에 활용하고 있으며, 클러스터는 우선 고객이 자체 데이터센터에 배치할 수 있도록 출하되고 있습니다. Squadron의 구성 요소인 회사의 Corsair 서버와 SquadRack 랙 규모 시스템은 일반 판매가 시작된 상태입니다. d-Matrix는 Squadron이 메가와트급 추론 컴퓨팅을 제공한다고 설명합니다. 회사는 이 클러스터가 코딩, 개인 에이전트, 사이버보안, 고빈도 거래 등 지연 시간에 민감한 애플리케이션을 운영하는 AI 연구소, 기업, 그리고 주권 조직을 겨냥한다고 밝혔습니다.

Sheth는 이번 출시를 d-Matrix가 특화된 칩 회사에서 데이터센터 컴퓨팅 인프라 사업으로 진화한 것으로 규정했습니다. 그는 회사 발표문에서 "고객은 이제 초저지연 AI 애플리케이션을 구축하고 확장하기 위해 세계에서 가장 효율적인 데이터센터 규모의 추론 인프라에 접근할 수 있게 되었습니다."라고 말했습니다.

Supermicro의 사장 겸 CEO인 Charles Liang은 이번 협력이 Supermicro의 Data Center Building Block Solutions 프로그램을 통해 AI 기술을 제공할 수 있는 역량을 보여준다고 말했습니다. 그는 이를 통해 고객이 고도화된 AI 워크로드와 이기종 컴퓨팅 환경을 위해 가동 시점을 앞당기면서 효율적이고 고성능인 추론 인프라를 배치할 수 있다고 설명했습니다.

**랙 구성과 개방형 표준 상호연결**

Squadron은 각각 8서버 단일 랙으로 구성된 SquadRack을 최대 16개까지 결합하여 최대 1,024개의 Corsair XPU를 갖춘 하나의 통합 클러스터로 만들 수 있는 다양한 구성으로 제공됩니다. 클러스터는 d-Matrix의 JetStream NIC으로 상호연결되며 회사의 Aviator 소프트웨어로 배포됩니다. 시스템은 공랭식이며 산업 표준을 기반으로 하기 때문에, 고객은 액체 냉각이나 새로운 구축 없이도 이미 운영 중인 데이터센터에 설치할 수 있다고 d-Matrix는 밝혔습니다. 고객은 단일 Corsair 서버, 완전한 SquadRack, 또는 다중 랙 Squadron 클러스터를 동일한 아키텍처 위에 배치할 수 있습니다.

회사의 랙 규모 제품 페이지에는 네 가지 참조 구성이 나열되어 있습니다.

- **싱글 서버 스타터 랙:** 8개 카드, 성능 메모리 16GB(1,200 TB/s), 최대 2TB의 용량 메모리, 전력 소비 10kW 미만.

- **듀얼 서버 스타터 랙:** 서버 2대와 카드 16개, 성능 메모리 32GB, 정격 10~30kW, JetStream을 통한 이더넷 기반 스케일아웃 지원.

- **멀티 서버 하프 랙:** 서버 4대와 카드 32개, 성능 메모리 64GB, 정격 30~100kW.

- **엔터프라이즈급 풀 랙:** 서버 8대와 카드 64개, 성능 메모리 128GB, 성능 모드에서 최대 1,000억 개 파라미터 모델 실행.

상호연결과 관련하여 d-Matrix는 단일 노드 내에서 스케일업을 위해 PCIe를, 랙 내 스케일업과 랙 간 스케일아웃을 위해 산업 표준 이더넷을 사용합니다. 회사는 차세대 스케일업 및 스케일아웃 표준을 개발하고 있는 UALink 및 UEC 산업 컨소시엄의 회원입니다.

**SquadRack 및 Corsair 플랫폼 배경**

Squadron은 d-Matrix가 2025년 10월 14일 이전 OCP 글로벌 서밋에서 SquadRack이라는 이름으로 처음 발표한 랙 규모 제품 라인을 확장한 것입니다. 당시에도 Arista, Broadcom, Supermicro와 함께였습니다. 당시 d-Matrix는 SquadRack을 AI 추론을 위해 처음부터 설계된 업계 최초의 랙 규모 솔루션이라고 설명했습니다. 회사는 이 솔루션이 기존 가속기 대비 최대 3배 높은 비용 대비 성능, 3배 높은 에너지 효율, 최대 10배 빠른 토큰 생성 속도를 제공한다고 밝혔습니다.

2025년 발표에 따르면 8노드 SquadRack은 최대 1,000억 개 파라미터의 생성형 AI 모델을 실행하며, 표준 기반 이더넷을 통해 여러 랙에 걸쳐 수백 개 노드까지 스케일아웃할 수 있습니다. 구성 요소로는 Corsair 추론 가속기, JetStream IO 가속기, Supermicro의 X14 AI 서버 플랫폼, 노드 내 스케일업을 위한 Broadcom PCIe 스위치, JetStream NIC과 연결된 Arista 리프 이더넷 스위치, Aviator 소프트웨어 스택이 포함되었습니다.

두 시스템의 핵심인 Corsair 플랫폼은 SRAM을 기존 한계를 넘어 확장하도록 설계된 칩렛 기반 구조를 사용합니다. 기존 PCIe 기반 인프라에 통합되며 최대 1,000억 개 파라미터 모델을 지원합니다. d-Matrix의 3DIMC 설계는 DRAM을 로직 다이 위에 직접 적층하며, Aviator 소프트웨어 스택은 컴파일러부터 런타임까지 하드웨어와 공동 설계되었습니다.

**어텐션-FFN 분리 시연**

기조연설에서 Sheth는 d-Matrix가 Squadron 시스템과 GPU 서버를 결합해 어텐션-FFN 분리(AFD)를 구현했다고도 밝혔습니다. 회사는 모델의 전문가(expert)와 피드포워드 네트워크를 Corsair 랙으로 오프로드한 결과 사용자당 초당 845 토큰을 달성했다고 보고했습니다. 이 이기종 구성은 64명의 동시 사용자에서 총 처리량 초당 20,415 토큰에 도달했습니다. d-Matrix는 실제로 현재 제공 가능한 실리콘에서 AFD를 구동한 최초의 사례라고 밝혔습니다.

2026년 10월 12일 공개된 관련 기술 게시물은 테스트 구성을 설명합니다. 워크로드는 GPT-OSS-20B이며, 이는 전체 209억 파라미터 중 191.2억 개가 전문가에 해당하는 혼합 전문가(MoE) 모델입니다. 추론 한 번마다 32개 전문가 중 4개가 활성화되며, 약 36억 파라미터에 해당합니다. 4비트 정밀도에서 이 전문가들은 16GB SRAM을 갖춘 8카드 Corsair 서버에 들어갈 수 있습니다. 80GB Nvidia H100 GPU는 어텐션, 임베딩, KV 캐시, 전문가 라우팅을 처리하고, Corsair는 전문가 연산을 수행합니다. 배치 크기 64에서는 H100 GPU 2개가 Corsair 가속기 8개를 공유합니다.

d-Matrix는 Corsair의 SRAM이 150 TB/s의 메모리 대역폭을 제공하며, 이는 H100의 HBM3 대역폭의 45배, HBM4가 제공하는 18 TB/s의 약 9배에 해당한다고 설명했습니다. 회사는 피드포워드 작업을 Corsair로 옮긴 결과, 1K 컨텍스트 길이에서 단독 H100의 출력 토큰당 소요 시간이 2.59밀리초에서 1.28밀리초로 줄어 약 50퍼센트 감소했다고 보고했습니다.

게시물에 따르면 모델의 24개 레이어마다 GPU와 Corsair 사이에서 24번의 왕복이 이루어지며, LM 헤드를 위해 한 번이 추가됩니다. GPU는 2,880차원 히든 상태 벡터와 대상 전문가 할당 정보를 클러스터당 400Gb/s 이더넷 대역폭을 제공하는 JetStream 링크를 통해 전송합니다. JetStream의 장치 주도 통신을 통해 GPU는 Corsair 메모리에 직접 쓸 수 있고, Corsair는 호스트 CPU의 개입 없이 결과를 다시 쓸 수 있습니다. 각 Corsair 카드는 LM 헤드의 한 샤드를 담당하며, d-Matrix는 이 배치로 LM 헤드의 처리 시간이 10배 줄었다고 밝혔습니다.

배치 크기 64에서 회사는 컨텍스트 길이 129에서 시스템이 64명 사용자 전체의 디코드 단계를 2.46밀리초에 완료한다고 밝혔습니다. d-Matrix는 또한 Corsair가 추측 디코딩 및 AFD 구성을 수천억 개 파라미터 모델로 확장할 수 있으며, 목표 모델로 GLM 5.x와 Kimi K3를 언급했습니다.

d-Matrix 연구원들은 2026년 10월 14일 오전 11시와 오후 2시(태평양 시간), 그리고 2026년 10월 15일 오전 11시(태평양 시간)에 OCP 부스 C82에서 AFD 시연을 라이브로 선보일 예정입니다.