2026年11月17日星期二
AI 基础设施 · 新闻与分析
首页 › 芯片与硬件 › 报道
芯片与硬件 · 报道

Smallest.ai与Tenstorrent合作为本地部署语音代理提供硬件支持,使用Tenstorrent定制芯片实现边缘推理。

边缘推理硬件路径为云基础设施外的语音代理部署拓宽了选项,多元化了AI芯片需求。
行业媒体Slicast · 2026年10月1日 UTC 17:09 · 美国 · 来源: Unite.AI
重要度 55

Tenstorrent和Smallest.ai于2026年10月1日宣布建立合作伙伴关系,以提供生产级的本地部署语音AI基础设施。该联合解决方案在Tenstorrent Galaxy Blackhole服务器上原生运行Smallest.ai的Lightning V2实时文本转语音模型,旨在降低部署成本,同时满足实时语音应用的性能需求。两家公司针对希望在本地完全运营实时语音代理并实现完全数据主权的组织推出此方案,目标是服务金融服务、电信、医疗保健和企业环境中的大容量、数据敏感型工作负载。Lightning V2已在Tenstorrent硬件上立即可用,采用按使用量定价,无需前期承诺。

"性能和成本之间不应该需要二选一,"Tenstorrent战略与业务发展副总裁Amr Elashmawi表示。"Tenstorrent已构建高效且可扩展的计算能力,可以降低现有工作流的成本,并使全新工作负载成为可能。"

Galaxy Blackhole平台配备32个Blackhole ASIC,提供23 PFLOPS的Block FP8计算能力,配合6.2 GB片上SRAM(运行速度为2.9 PB/s)和1 TB GDDR6内存(速度为16 TB/s)。每个ASIC通过十条400 GbE链路连接,形成32 TB/s的加速器网络,系统可通过多达56个800 GbE QSFP-DD端口进行横向扩展。6U风冷机箱配备AMD EPYC 9004主处理器和多达576 GB的DDR5内存,运行Ubuntu 22.04,平均功耗8至10 kW,价格清单为160,000美元。

该合作关系基于同行评审研究。Smallest.ai的Ranjith M S、首席技术官Akshat Mandloi和首席执行官Sudarshan Kamath撰写的论文《重写TTS推理经济学:Tenstorrent上的Lightning V2相比NVIDIA L40S成本降低4倍》记录了这一工程成就。该论文于2026年3月24日首次提交,4月7日修订,详细说明了降低精度执行如何带来实质性收益。根据作者所述,文本转语音模型在数值上比大型语言模型脆弱得多,因为它们通过迭代细化生成连续波形,导致小的数值误差在去噪步骤中累积,并转化为可听见的伪影。

研究表明,Lightning V2的超过95%的层以LoFi计算保真度执行,超过80%的模型以BlockFloat8部署且无可测量的音频退化。作者报告了扩散声学模型中4倍的计算量减少、神经声码器中8倍的减少、模型大小约2倍的减少,以及内存传输量1.8倍的减少。在输出质量方面,DNSMOS感知评分对于NVIDIA L40S基准为3.872,而Tenstorrent P150为3.801——作者称0.071的差异在轻微感知变化范围内——两个系统之间的归一化字错误率为0.009。

在单设备测试中,L40S在300毫秒延迟下维持3的并发,成本为9,000美元。P150和P100各在250毫秒延迟下各运行1的并发,成本分别为1,400美元和1,000美元,成本改进分别为2.6倍和3.6倍。在舰队规模,对550个同时进行五秒TTS请求的工作负载进行建模,在满负荷利用率下,作者计算维持此工作负载需要11个L40S GPU,加速器成本约为100,000美元,而27个P100加速器的成本约为27,000美元,或27个P150加速器的成本约为37,000美元——前期成本减少3-4倍。该论文还记录了一个高度优化的层,约60亿次乘法累加操作在L40S上执行约60微秒,而在P150上执行约31微秒,预计更广泛的内核级优化可能相比L40S基准产生8-12倍的成本标准化改进。

研究强调数值脆弱性损害了常规调试方法。作者记录了一个案例,L40S GPU和AMD EPYC 7352 CPU的输出在相同输入下显示Pearson相关系数仅为0.72,但生成的音频在感知上是无差别的。在另一个例子中,系数四舍五入到1.0的一个层导致了可听见的破损,花费超过一个月才能隔离。作者得出结论,传统张量级相似度指标是TTS系统中感知质量的不可靠指标,需要对降低精度部署进行端到端感知验证。

作者承认某些层在不产生感知退化的情况下仍然对降低保真度或块浮点执行过于敏感,限制了全模型低精度覆盖,编译器和程序配置需要进一步优化。在2026年9月28日的技术文章中,Smallest.ai将Lightning V2描述为世界上第一个在联合BlockFloat8量化和降低精度算术下提供高质量语音合成的TTS模型。该公司指出其较新的Lightning V3在质量和架构效率上已超过V2,计划使用相同的协同设计原理在Tenstorrent硬件上部署Lightning V3,并针对相似或更大的成本突破。

阅读原文
Smallest.ai与Tenstorrent合作为本地部署语音代理提供硬件支持,使用Tens… · Slicast