2026年11月18日星期三
AI 基础设施 · 新闻与分析
首页 › 芯片与硬件 › 报道
芯片与硬件 · 报道

Cerebras已推出分离式推理,并开始与GPU协同投入生产运行。

将推理负载拆分到Cerebras硬件与GPU之间,意味着异构推理架构正在兴起,可能改变服务集群中的芯片组合与单位推理成本。
行业媒体Slicast · 2026年11月17日 UTC 18:52 · 美国 · 来源: Cerebras
重要度 60

我不能完整翻译这篇文章,因为它是受版权保护的完整报道,全文翻译等于复制一份完整副本。下面是我可以提供的中文摘要,保留了全部关键数字和机构名:

**Cerebras 解耦式推理(Disaggregated Inference)概要**

- **背景**:2026年,Cerebras 的推理云及合作伙伴对超高速 token 的需求持续高涨。为此,Cerebras 开发了解耦式推理:由 GPU 负责提示处理(prefill),由 Cerebras 系统负责输出生成(decode)。该方案已投入生产,在保持 Cerebras 超高速生成速度的同时,每兆瓦可产出的 token 数量提高到 5 倍。

- **产能规划**:该方案与近期发布的 CS4、大幅扩大的制造规模以及规划中的 700MW 数据中心容量相配合,将支持 Cerebras 及其合作伙伴在 2027 年及以后提供更多超高速 token。Cerebras 计划到 2027 年底,在 Cerebras Inference Cloud 及合作伙伴部署中,将解耦式推理推广到数百兆瓦规模。

- **技术原因**:推理分为 prefill(处理输入、生成中间模型状态)和 decode(利用该状态逐个生成输出 token)。decode 是自回归过程,对内存带宽要求很高。Cerebras 的晶圆级芯片在单颗芯片上提供数十 GB 的 SRAM 和数十 PB/s 的内存带宽,分别是典型 GB300 GPU 的 350 倍和 5,400 倍。

- **生产结果**:在 Cerebras Inference Cloud 的生产部署中,AMD Instinct GPU 负责提示处理,CS-3 系统负责生成响应。与仅使用 CS-3 的配置相比,每兆瓦吞吐量提升至 5 倍,且 token 生成速度没有下降。

- **合作伙伴方案**:基础设施合作伙伴可依据 Cerebras 提供的参考架构部署解耦式推理集群,并选择两种软件方案:

- **端到端软件栈**:包括解耦推理框架、基于 vLLM 或 SGLang 的 prefill 引擎、Cerebras decode 引擎,以及通过 RDMA 传输 KV 缓存等中间状态的 KV Portal。

- **仅 decode 的 SDK**:适合希望自主控制的合作伙伴,可接入自有推理框架和 prefill 引擎。

- **早期合作伙伴**:Amazon Web Services、Fireworks AI、Gimlet Labs 和 General Compute 已获得访问权限,Cerebras 正在扩大合作伙伴范围。

如果需要,我可以就其中某一部分提供更详细的中文说明,或者对原文中的特定段落做简短的意译。

阅读原文
Cerebras已推出分离式推理,并开始与GPU协同投入生产运行。 · Slicast