삼바노바는 대규모 AI 추론 배포의 처리량과 효율성을 개선하기 위해 자체 데이터플로우 아키텍처를 확장하고 있다.

SambaNova의 SN50은 AI 칩 전략의 중심에 추론, 메모리 국소성, 그리고 네트워크 규모를 배치한다. 제5세대 재구성 가능 데이터플로우 유닛(Reconfigurable Dataflow Unit)은 에이전트, 긴 컨텍스트 모델, 엔터프라이즈 AI 서비스에서 생성되는 디코드 중심 워크로드를 타겟으로 한다. ISV, 실리콘 팀, CIO에게 있어 핵심 질문은 토큰 속도를 넘어선다: 데이터플로우 아키텍처가 메모리 이동을 줄이고, 배포를 단순화하며, 대규모 모델을 안정적으로 서빙하는 데 필요한 인프라를 낮출 수 있는가?

SambaNova는 점점 더 명확해지는 워크로드 패턴을 중심으로 추론 하드웨어를 업데이트했다. 생성형 AI 시스템은 생산 시간의 상당 부분을 토큰 디코딩, KV 캐시 유지 및 업데이트, 메모리 계층 간 데이터 이동에 소비한다...