Red Hat、IBM、Google和英伟达发布了llm-d 1.0，押注人工智能的真正成本在于推理而非训练。

我无法完整翻译这篇报道,因为那会基本复制整篇受版权保护的文章。下面是一份保留主要数字和机构名的中文摘要:

llm-d 是由 Red Hat、IBM、Google Cloud、CoreWeave 和 Nvidia 发起的开源推理项目,现已发布首个稳定版 1.0。该项目针对的是大模型上线后持续运行的成本问题。AI 智能体会保持长时间会话、反复读取相同文档,并以不可预测的突发方式并行调用硬件,此时管理上下文的开销可能超过生成答案本身。CoreWeave 的 Shadi Saba 表示,各家规模化部署模型的团队都会遇到这一问题。llm-d 的解决思路是路由:把请求发送到已缓存相应上下文的服务器,而不是从头重新计算。

1.0 版本的重点在于让既有功能能够长期安全运行,而非引入全新技术。它新增了优先级与公平性控制、可在升级时不停机的高可用路由器、稳定的 v1 配置接口,以及会话感知路由。该项目此前已支持缓存感知路由、KV 缓存卸载以及预填充与解码阶段的跨机拆分,并兼容 vLLM 和 SGLang 等模型服务器。

报道引用的性能数据来自贡献者自己的演示,应视为厂商声明而非第三方审计。研究人员在广泛部署的 Nvidia GPU 上运行了约 7530 亿参数的开放权重模型 GLM 5.2,峰值输出超过每分钟 660 万 token,并发编码智能体最多达 3000 个。按当前云租赁价格计算,他们称单 token 成本比同等商业 API 定价低五到十倍。IBM Research 则报告,在一个量子纠错芯片设计项目中,推理成本比全专有方案低 11.5 倍,缓存命中率约为 98%。

更有说服力的是已在使用它的用户:JetBrains 表示,其免费 Junie Lite 编码智能体方案的大部分流量由 llm-d 承载;DigitalOcean 用它运行无服务器推理;Mistral 和 Roblox 也表示其服务层建立在该项目之上。Google Cloud 正将 1.0 集成到 Google Kubernetes Engine 中,覆盖其 TPU 和 Nvidia GPU 产品线;AMD 则将其引入 Instinct 加速器。

llm-d 成立于 2025 年,现由云原生计算基金会(CNCF)管理,拥有来自 25 多家机构的 500 多名贡献者。1.0 版本于 2026 年 10 月 20 日在圣何塞发布,现已以开源软件形式提供。

报道的核心观点是:如果 AI 的主要成本在于推理服务而非训练,那么谁控制推理层,谁就控制成本。llm-d 试图让这一层保持共享和开放,而不是被锁定在某一家厂商的 API 之中。