Smallest.ai는 Tenstorrent와 협력하여 온프레미스 음성 에이전트 하드웨어를 제공하고, Tenstorrent의 맞춤형 실리콘을 활용해 엣지에서의 추론을 가능하게 합니다.
Tenstorrent와 Smallest.ai는 2026년 10월 1일 프로덕션 등급의 온프레미스 음성 AI 인프라를 제공하기 위한 파트너십을 발표했습니다. 이 통합 스택은 Smallest.ai의 Lightning V2 실시간 텍스트-음성 변환 모델을 Tenstorrent Galaxy Blackhole 서버에서 네이티브하게 실행하며, 배포 비용을 줄이면서 실시간 음성 애플리케이션의 성능 요구사항을 충족하도록 설계되었습니다. 두 회사는 온프레미스에서 실시간 음성 에이전트를 완전히 운영하고 전체 데이터 주권을 유지하려는 조직을 대상으로 이 솔루션을 배치했으며, 금융 서비스, 통신, 의료 및 엔터프라이즈 환경에 걸친 대규모 데이터 민감 워크로드를 목표로 합니다. Lightning V2는 Tenstorrent 하드웨어에서 즉시 사용 가능하며 사용량 기반 가격 책정과 선금 의무 없이 제공됩니다.
"성능과 비용 사이에 선택의 여지가 있을 필요가 없어야 한다"고 Tenstorrent의 전략 및 사업 개발 부사장인 Amr Elashmawi는 말했습니다. "Tenstorrent는 기존 워크플로우의 비용을 줄이고 완전히 새로운 워크로드를 실현 가능하게 만드는 효율적이고 확장 가능한 컴퓨팅을 구축했습니다."
Galaxy Blackhole 플랫폼은 32개의 Blackhole ASIC을 페어링하여 23 PFLOPS의 Block FP8 컴퓨팅을 제공하며, 2.9 PB/s로 작동하는 6.2GB의 온칩 SRAM 및 16 TB/s의 1TB GDDR6 메모리와 함께 작동합니다. 각 ASIC은 10개의 400 GbE 링크를 통해 32 TB/s 액셀러레이터 패브릭을 연결하며, 시스템은 최대 56개의 800 GbE QSFP-DD 포트를 통해 확장됩니다. 6U 에어쿨드 섀시는 AMD EPYC 9004 호스트 프로세서와 최대 576GB의 DDR5 메모리를 페어링하며, Ubuntu 22.04를 실행하고, 평균 8~10kW를 소비하며, 정가는 $160,000입니다.
이 파트너십은 동료 검증 연구를 기반으로 합니다. Smallest.ai의 Ranjith M S, 최고 기술 담당자 Akshat Mandloi, 최고 경영자 Sudarshan Kamath가 저술한 논문—"TTS 추론 경제학 재정의: Tenstorrent의 Lightning V2는 NVIDIA L40S보다 4배 낮은 비용 달성"—은 이 엔지니어링 성취를 문서화합니다. 2026년 3월 24일 처음 제출되고 2026년 4월 7일 수정된 이 논문은 감소된 정밀도 실행이 어떻게 상당한 이득을 가져오는지 상세히 설명합니다. 저자들에 따르면, 텍스트-음성 변환 모델은 큰 언어 모델보다 훨씬 더 수치적으로 취약합니다. 왜냐하면 반복적 정제를 통해 연속 파형을 생성하며, 작은 수치적 오류가 노이징 제거 단계 전체에 걸쳐 누적되어 들리는 아티팩트로 나타나기 때문입니다.
연구는 Lightning V2의 95% 이상의 레이어가 LoFi 계산 충실도로 실행되고 모델의 80% 이상이 측정 가능한 오디오 품질 저하 없이 BlockFloat8로 배포됨을 보여줍니다. 저자들은 확산 음향 모델에서 4배 컴퓨팅 감소, 신경 보코더에서 8배 감소, 모델 크기에서 약 2배 감소, 메모리 전송량에서 1.8배 감소를 보고합니다. 출력 품질에서 DNSMOS 지각 점수는 NVIDIA L40S 기준선에서 3.872를 기록한 반면 Tenstorrent의 P150에서는 3.801을 기록했습니다—저자들이 경미한 지각 변동의 범위 내에 해당한다고 특징지은 0.071의 차이—두 시스템 간 정규화된 단어 오류율은 0.009입니다.
단일 장치 테스트에서 L40S는 300밀리초 지연에서 3의 동시성을 유지했으며 정가는 $9,000입니다. P150과 P100은 각각 250밀리초 지연에서 1의 동시성으로 실행되었으며 비용은 각각 $1,400과 $1,000이었으며, 보고된 비용 개선은 2.6배와 3.6배입니다. 함대 규모에서, 완전 활용 상태에서 550개의 동시 5초 TTS 요청 워크로드를 모델링하면서, 저자들은 이를 유지하려면 액셀러레이터 비용이 약 $100,000인 11개의 L40S GPU가 필요하다고 계산했으며, 약 $27,000의 27개 P100 액셀러레이터 또는 약 $37,000의 27개 P150 액셀러레이터와 비교하여—선금이 3배에서 4배 감소합니다. 이 논문은 또한 L40S에서 약 60마이크로초로 실행되고 P150에서는 약 31마이크로초로 실행되는 약 60억 개의 승산-누산 연산을 포함하는 최적화된 레이어를 문서화하며, 더 광범위한 커널 수준 최적화가 L40S 기준선보다 8배에서 12배의 비용 정규화 개선을 산출할 수 있다는 예측을 포함합니다.
연구는 수치적 취약성이 기존 디버깅 접근 방식을 방해한다는 것을 강조합니다. 저자들은 L40S GPU와 AMD EPYC 7352 CPU의 출력이 동일한 입력에도 불구하고 0.72의 피어슨 상관계수를 보였지만 지각적으로 구별할 수 없는 오디오를 생성한 경우를 문서화했습니다. 또 다른 사례에서 계수가 1.0으로 반올림된 레이어는 분리하는 데 1개월 이상이 필요한 들리는 손상을 야기했습니다. 저자들은 기존의 텐서 수준 유사성 메트릭이 TTS 시스템의 지각 품질의 신뢰할 수 없는 지표라고 결론 지었으며, 감소된 정밀도 배포를 위한 엔드-투-엔드 지각 검증이 필수적이라고 결론 지었습니다.
저자들은 특정 레이어가 지각적 품질 저하 없이 감소된 충실도 또는 블록 부동소수점 실행에 너무 수치적으로 민감하여 완전한 모델 저정밀도 범위를 제한하며, 컴파일러 및 프로그램 구성이 추가 최적화를 필요로 한다는 것을 인정합니다. 2026년 9월 28일 기술 게시물에서 Smallest.ai는 Lightning V2를 결합된 BlockFloat8 양자화 및 감소된 정밀도 산술 하에서 고품질 음성 합성을 제공하는 세계 최초의 TTS 모델로 특징지었습니다. 회사는 더 새로운 Lightning V3가 이미 품질과 아키텍처 효율성에서 V2를 초과하며, 동일한 공동 설계 원칙을 사용하여 Tenstorrent 하드웨어에 Lightning V3를 배포할 계획이 있으며 유사하거나 더 큰 비용 절감을 목표로 한다고 언급했습니다.