반도체·하드웨어 · 리포트

Supermicro, Unite.AI에 따르면 SambaNova 기반의 AI 추론 시스템을 설계하고 판매할 예정이다.

이번 계약으로 슈퍼마이크로의 서버 유통망에 엔비디아가 아닌 추론 옵션이 추가되어, 추론 워크로드를 운영하는 기업 및 클라우드 고객의 하드웨어 선택지가 넓어집니다.

업계 전문지Slicast · 2026년 11월 3일 18:12 UTC · 미국 · 출처: Unite.AI

중요도 58

SambaNova와 Supermicro는 2026년 11월 3일, Supermicro가 NVIDIA GPU와 SambaNova의 SN50 Reconfigurable Dataflow Unit(RDU)이 작업을 나누어 처리하는 AI 추론 시스템을 제작, 판매 및 지원할 것이라고 발표했습니다. 이번 협력은 초기에 SN50 칩 10,000개를 배치하는 것을 계획하고 있습니다.

이 시스템들은 Supermicro의 Data Center Building Block Solutions 포트폴리오에 합류합니다. Supermicro는 현장 서비스를 포함하여 시스템을 통합, 테스트, 배송 및 지원하며, SambaNova 엔지니어들은 SN50에서 모델이 구동되고 튜닝되도록 지원하고 고객 배포를 돕습니다. 이 구조는 서버 제조 및 서비스 채널과, 이종 가속기 배포에 필요한 모델 엔지니어링 작업을 결합한 것입니다.

## GPU와 RDU로 나뉘는 추론 방식

이 아키텍처는 추론을 두 단계로 나눕니다. 프리필(prefill) 단계에서는 NVIDIA GPU가 들어오는 프롬프트를 처리하며, 이는 연산 집약적인 작업입니다. 디코드(decode) 단계에서는 SN50 RDU가 응답을 토큰 단위로 하나씩 생성하며, 이는 메모리 집약적인 작업입니다. SambaNova는 각 단계를 적합한 하드웨어에 할당하면 어느 한 종류의 하드웨어만 사용할 때보다 더 빠르고 효율적인 추론이 가능하다고 설명합니다.

SambaNova의 함께 발표된 자료는 에이전틱 AI를 핵심 활용 사례로 제시합니다. 에이전트는 대규모 언어 모델을 수천 번 호출할 수 있고, 각 호출은 몇 분이 걸릴 수 있으며, 에이전트 워크로드는 대부분의 시간을 디코드에 사용합니다. 이에 따라 토큰 생성이 에이전트의 다음 동작을 결정하는 임계 경로(critical path)에 놓이게 됩니다. 두 회사는 따라서 디코드를 별도의 인프라 과제로 다루고 있으며, 추가 RDU는 응답 속도를 높이고 GPU는 프롬프트 처리를 계속 담당하도록 설계되어 있습니다.

## SN50 설계 개요

SN50은 SambaNova의 5세대 RDU입니다. 공식 데이터시트에 따르면 TSMC 5나노미터 공정으로 제조되며, 432MB의 온칩 SRAM과 64GB의 HBM2E를 갖추고 있고, DDR5가 세 번째 메모리 계층을 담당합니다. 이 칩은 SambaNova의 Reconfigurable Dataflow Architecture를 사용하며, 범용 가속기 워크로드가 아니라 메모리 집약적인 디코드 단계를 위해 설계되었습니다.

SambaNova의 제품 문서는 이 설계가 더 빠른 추론, 더 높은 처리량, 향상된 에너지 효율을 제공한다고 설명합니다. 연산들은 연속적인 데이터플로우로 연결되어, 반복적인 메모리 전송과 각 단계마다 작업을 다시 시작하는 데서 생기는 오버헤드를 줄입니다. 메모리 계층은 각각 뚜렷한 역할을 맡습니다. SRAM은 연산 근처에 자주 쓰이는 로컬 데이터를 보관하고, HBM2E는 활성 모델 가중치와 자주 접근되는 KV 캐시를 보관하며, DDR5는 프롬프트 캐시, 더 큰 모델 풀, 자주 쓰이지 않는 KV 캐시를 수용합니다.

SambaNova에 따르면 SN50은 여러 랙에 걸쳐 최대 256개의 RDU까지 확장할 수 있으며, 대화형 에이전트, 코딩 어시스턴트, 여러 모델을 전환하며 사용하는 응용 프로그램을 포함한 다단계 추론 워크로드를 위해 설계되었습니다. 이러한 다중 랙 설계는 랙 단위 계획과 맞물리며, Supermicro는 RDU와 GPU를 통합하여 검증하고 지원할 시스템을 구성할 예정입니다.

## 채널 출시 및 데이터센터 한계

고객은 Supermicro를 통해 GPU와 함께 SN50 RDU를 구매할 수 있으며, AI 인프라의 나머지 부분과 같은 채널을 사용하게 됩니다. 출시는 NeoCloud와 ソブ린 클라우드(sovereign cloud)부터 시작해, 자체 데이터센터에서 AI를 운영하는 기업으로 확대될 예정입니다. 이 단계적 접근은 클라우드 운영자에서 시작하여 나중에 동일한 결합형 GPU-RDU 아키텍처를 기업 시설로 가져오는 방식입니다.

전력과 냉각은 배포 논리의 핵심입니다. 두 회사는 SN50이 극단적인 랙 전력 밀도 없이도 대형 모델을 빠르고 높은 처리량으로 제공할 수 있다고 말하며, 이는 기존 데이터센터에 시스템을 더 쉽게 배치할 수 있게 한다고 설명합니다. 이러한 전력 특성은 이번 협력의 개보수(retrofit) 논리를 뒷받침합니다. 즉, RDU는 운영자가 이미 가동 중인 시설에 용량을 추가하기 위한 것입니다.

두 회사는 또한 디코드용 RDU를 추가하면 전력과 냉각에 제약을 받는 신규 건설을 기다리지 않고도 추론 용량을 늘릴 수 있으며, 기존 GPU의 유효 수명도 연장할 수 있다고 말합니다. 따라서 이 제안은 추가 용량을 운영자가 이미 보유한 시설과 GPU에 연결합니다.

SambaNova와 Supermicro는 이번 협력이 2027년에 그렇지 않았을 경우보다 상당히 많은 고성능 추론 용량을 가능하게 할 것으로 기대합니다. 이 계획의 의미는 디코드 전용 하드웨어와 Supermicro의 배포 채널이 결합된 데서 나옵니다. 전력과 냉각 한계에 직면한 운영자에게 남은 질문은, 계획된 RDU 설치가 두 회사가 예측한 규모로 기존 시설 안에서 실질적인 추론 용량을 추가할 수 있을지 여부입니다.

원문 보기