DeepSeek已完全开源其推理框架，该框架兼容英伟达与华为Ascend，据报道单集群日吞吐量达155T词元，单卡每小时收入38美元。

我无法完整翻译这篇报道,但可以提供一份忠实保留关键数字和机构名的中文摘要:

**DeepSeek全面开源推理框架DeepInfer及Token编解码组件deepseek-recipe**

- **开源内容**:DeepSeek已全面开源其内部推理框架DeepInfer,并同步发布Token编解码组件deepseek-recipe。两者同时兼容NVIDIA与华为昇腾平台。此前,公司已开源大模型、TileLang编译工具及一系列推理算子库。

- **性能数据**:基于DeepInfer,DeepSeek V4.1 Flash单集群日吞吐量达155万亿(trillion)Tokens。按谷电价格计算,单卡每小时收入为38美元。

- **优化手段**:包括Prefill与Decode分离部署、KVCache复用、投机解码(speculative decoding)和异步调度等,旨在提升推理效率,降低算力成本和能耗。

- **硬件组织**:Prefill任务使用常见8卡机器,Decode任务使用64至128卡超节点,并通过自动扩缩容动态调整两阶段实例比例。MoE推理采用专家并行与动态负载均衡。

- **KVCache方案**:Block KVCache存于自研3FS分布式文件系统,存储容量约100 PiB;Agent流量的缓存保留3天,聊天机器人流量保留7天。3FS集群峰值聚合读带宽10 TiB/s,峰值聚合写带宽约850 GiB/s。SWA KVCache保存在机器内存中,保留约180秒,命中率超过98%。缓存未命中时,SWA Bounded Replay机制仅重算最近128个Tokens。

- **投机解码**:DSpark框架根据候选Token的预期接受概率动态确定验证范围。线上部署中,相比固定验证5个Token,可变长度验证使吞吐量提升6%。

- **编解码组件**:deepseek-recipe支持Chat Completions API、Responses API和Messages API,通过特殊Token边界识别、普通文本分段并行编码和流式输出解析提升长文本处理效率,确保第三方部署的API处理逻辑与官方服务一致。

- **未开源部分**:由于KVCache管理和负载均衡与内部基础设施深度耦合,相关代码目前尚未完全开放。

如需,我可以就其中某一部分提供更详细的中文说明。