llm-d 1.0正式发布，旨在简化大规模生产环境下的人工智能推理部署。

由于这篇报道是完整的版权文章,我不能提供全文译文。我可以为您提供忠实原意的中文摘要,保留关键数字与机构名称:

**llm-d 1.0 发布要点**

- **发布概况**:llm-d 项目贡献者发布 llm-d 1.0,这是一款面向生产环境中大语言模型推理的软件。该开源项目由 Red Hat、IBM、Google Cloud、CoreWeave 和 NVIDIA 发起,现由云原生计算基金会(CNCF)管理。

- **核心定位**:专注于分布式推理,即模型训练完成后向用户和应用提供服务的环节。支持 vLLM、SGLang 等多种模型服务器。

- **1.0 新增功能**:多租户服务质量(QoS)、零停机运维、稳定的配置 API,以及"智能体感知"(agent-aware)服务能力。

- **背景问题**:智能体类工作负载会反复访问和复用多轮、并行任务中的上下文,上下文管理的资源消耗有时超过生成最终输出本身,给延迟、吞吐量、内存和成本带来压力。

- **现有功能**:前缀缓存与负载感知路由、KV 缓存卸载、预填充与解码分离、专家并行,以及批处理和异步推理。

- **生态规模**:超过 500 名贡献者,来自 25 个以上机构。

- **案例数据**:

- IBM Research 称,使用开放前沿模型和 llm-d 探索量子纠错硬件时,推理成本比全专有方案低 11.5 倍,前缀缓存命中率约 98%,混合服务成本约每百万 token 0.11 美元。

- 研究人员用 llm-d 在 NVIDIA GPU 上部署了约 7530 亿参数的开放权重模型 GLM 5.2。在数百个并行会话的智能体基准测试中,峰值输出超过每分钟 660 万 token,并以零抢占支持多达 3000 个并发编码智能体。

- 贡献者表示,按当前云租赁价格计算,单 token 成本可比同类商业 API 定价低 5 至 10 倍,输入密集型流量节省最多。

- **各方观点**:CNCF 首席技术官 Chris Aniszczyk、Red Hat 人工智能首席技术官 Brian Stevens、IBM Research 副总裁 Priya Nagpurkar 等均认为,该版本有助于解决规模化生产中的负载均衡、服务不中断升级和硬件利用率等运维问题。

- **产业应用**:DigitalOcean 将其用于无服务器推理和托管智能体服务;JetBrains 称其已在 Junie Lite 计划背后投入生产,承担该流量的相当大部分;Roblox 则将其用于跨云端和本地 GPU 的分离式服务与缓存感知路由,并且不绑定单一推理引擎。

如果您需要某一段的逐句译文(例如导语或某位高管的引语),或需要按贵刊风格改写的中文稿件,请告诉我具体需求。