SambaNova + Nvidia H200 플랫폼이 MiniMax 추론에서 초당 763 토큰으로 벤치마크되었으며, 이종 컴퓨트의 실행 가능성을 입증합니다.

인텔의 삼바노바(SambaNova)에 대한 베팅이 결실을 맺고 있는 것으로 보인다. 이번 주 AI 칩 스타트업 삼바노바는 엔비디아 GPU와 자체 가속기를 결합한 최신 세대 AI 가속화의 벤치마크 결과를 공개했으며, 이는 GPU 전용 추론 플랫폼을 크게 상회하는 성능을 보여줬다.

아티피셜 애널리시스(Artificial Analysis)의 테스트에 따르면, 2월에 발표된 삼바노바의 SN50 시리즈 가속기는 짧은 컨텍스트 길이(입력 토큰 10,000개)에서 미니맥스 M2.7 모델 처리 시 초당 763개의 토큰을 달성했으며, 이는 경쟁사들의 GPU 전용 추론 제공업체보다 수 배 빠른 속도였다. 긴 컨텍스트 길이의 경우 해당 플랫폼은 초당 450개 이상의 토큰을 지속적으로 처리했다.

이러한 성능은 이종 컴퓨팅 플랫폼 내에서 4대의 엔비디아 H200 GPU와 16개의 SN50 재구성 가능 데이터플로우 유닛(RDU)을 결합함으로써 달성되었다. 프롬프트 처리 및 키-값 캐시 생성이 이루어지는 계산 집약적인 프리필(prefill) 단계는 H200에서 실행되었고, 메모리 대역폭에 제약이 있는 디코드(decode) 단계는 16개의 SN50 가속기에서 실행되었다.

코어 어시스턴트(code assistants)와 같은 장기 실행 AI 애플리케이션에서 토큰 비용을 절감하기 위해 프리필과 디코드를 분리하는 접근 방식이 필수적이 되었다. 엔비디아는 NVL72 랙 시스템에서 이를 선도적으로 도입하여 프리필용 GPU와 디코드용 GPU의 비율을 다양화했으며, 이후 올해 봄 GTC에서 공개된 Groq 기반 LPX 랙으로 이를 확장했다. 그 이후 AMD, AWS, 세레브라스(Cerebras) 등 여러 기업들이 분리형 또는 이종 추론 플랫폼을 발표했다.

삼바노바는 자사의 시스템을 디코드 가속기로 활용하여 노후화된 GPU 풀의 수명을 연장할 수 있음을 고객들에게 입증하고자 한다. 주요 장점 중 하나는 엔비디아의 최신 루빈(Rubin) GPU가 액체 냉각을 필요로 하는 것과 달리, 삼바노바의 공냉식 시스템은 기존 데이터센터에 배포될 수 있다는 점이다.

회사는 128개, 궁극적으로는 256개의 가속기를 사용한 더 강력한 구성을 시연하여 높은 처리량에서도 높은 토큰 생성률을 유지할 수 있는 능력을 보여주겠다는 계획이다. 이는 GPU만으로는 역사적으로 어려움을 겪어왔던 부분이며, 작년 엔비디아가 Groq를 인수한 주요 요인 중 하나였다.

이러한 결과는 삼바노바와 인텔이 벡터 코어 컴퓨팅(Vector Core Compute)을 GPU + RDU 오퍼링을 최초로 도입할 기업 중 하나로 발표하고, 토게더AI(TogetherAI)를 초기 대규모 고객으로 확보한 지 한 달 만에 나온 것이다.

새로운 칩의 생산 증설은 자본 집약적이지만, 삼바노바의 5세대 부품에 대해서는 자금 조달 문제가 없을 전망이다. 수요일, 회사는 제너럴 아틀랜틱(General Atlantic)이 주도하는 10억 달러 규모의 시리즈 F 투자 라운드의 첫 번째 클로징을 완료했으며, 이로써 AI 칩 스타트업 삼바노바의 가치는 110억 달러로 평가받았다.