IBM发布开源推理框架llm-d 1.0，面向规模化生产环境，主打高性价比的人工智能推理服务。

**llm-d 1.0 发布要点(摘要)**

- **发布情况**:2026年10月20日,llm-d 项目贡献者宣布发布 llm-d 1.0,这是该开源项目的重要里程碑。该项目旨在帮助企业在现代基础设施上更高效地部署和扩展大语言模型推理。项目由 Red Hat、IBM(NYSE: IBM)、Google Cloud、CoreWeave 和 NVIDIA 于 2025 年发起,现由云原生计算基金会(CNCF)管理。

- **背景**:随着企业争相将 AI 投入生产,大规模运行 AI 的挑战和成本可能不亚于构建模型本身。智能体(agentic)工作负载带来了新的压力,管理上下文的资源消耗有时超过生成最终输出本身。llm-d 已支持前缀缓存与负载感知路由、KV 缓存卸载、预填充/解码分离、大规模专家并行、批处理与异步推理等能力,并支持 vLLM 和 SGLang 等多种模型服务器。

- **1.0 新增能力**:

- **多租户服务质量**:基于优先级与公平性的流量控制,保护延迟敏感请求,避免突发的智能体负载相互挤占资源。

- **零停机运维**:路由器支持带热备的高可用及滚动更新;预填充与解码副本可作为一个逻辑单元统一管理并协调升级。

- **稳定基础**:提供 v1 配置 API,并在多云和多种加速器上验证了请求路径。

- **智能体感知服务**:会话感知路由、轮次优先级调度及原生 Responses API 状态支持,帮助智能体跨轮次复用上下文、减少重复计算。

- **生态与案例**:项目拥有 500 多名贡献者,来自 25 个以上组织。在一个案例中,开源前沿模型与 llm-d 使 IBM Research 在量子纠错硬件研究中的推理成本比全专有方案低 11.5 倍,前缀缓存命中率约为 98%,混合服务成本约为每百万 token 0.11 美元。另一项基准演示中,llm-d 在 NVIDIA GPU 上部署了约 7530 亿参数的开放权重模型 GLM 5.2,峰值输出超过每分钟 660 万 token,可同时服务多达 3000 个并发编码智能体,且无抢占。按当前云租赁价格估算,其单位 token 成本比同等商业 API 低 5 至 10 倍。

- **各方表态**:CNCF CTO Chris Aniszczyk、Red Hat 的 Brian Stevens、IBM Research 的 Priya Nagpurkar、Google Cloud 的 Mark Lohmeyer 和 CoreWeave 的 Shadi Saba 均对该发布表示支持。Google Cloud 表示将把 llm-d 1.0 集成到 Google Kubernetes Engine 中,并支持其 TPU 与 NVIDIA GPU 产品线。

注:原文在 CoreWeave 的引语处被截断,以上内容基于已提供部分整理。如需逐句完整译文,请提供已获授权的版本或原始出版方的授权许可。