SambaNova正在扩展其专有的数据流架构，以提高大规模AI推理部署的吞吐量和效率。

SambaNova 的 SN50 将其 AI 芯片战略的核心置于推理、内存局部性和网络规模之上。第五代可重构数据流单元（Reconfigurable Dataflow Unit）旨在应对由智能体（agents）、长上下文模型和企业级 AI 服务所产生的以解码为主的工作负载。对于独立软件供应商（ISV）、硅片团队和首席信息官（CIO）而言，关键问题已不仅仅关乎令牌速度：数据流架构能否减少内存数据传输、简化部署流程，并降低可靠服务于大型模型所需的基础设施成本？

SambaNova 围绕日益清晰的工作负载模式对其推理硬件进行了更新。生成式 AI 系统在运行期间的大部分时间都用于解码令牌、持有并更新 KV 缓存，以及在内存层级结构之间移动数据……