微软测试Kimi K3(中国模型)用于Copilot,试图降低6亿美元AI推理成本。
微软正准备在 Copilot 中测试 Moonshot AI 的 Kimi K3 模型,以减少对 OpenAI 和 Anthropic 更昂贵模型的依赖。据《The Information》报道,微软正在将 Kimi K3 添加到其 Azure 云服务中,而 Copilot 团队的工程师计划评估该模型是否能够支持目前在 OpenAI 和 Anthropic 系统上运行的功能。
据报道,这一潜在转变可能会将微软的 AI 推理成本降低多达 6 亿美元。推理是指每当模型接收提示并生成响应时所使用的计算。当一个 AI 服务跨越数百万用户运行并处理大量令牌时,成本会变得相当可观。不过,微软尚未公开确认这一成本估计,也未详细说明 Copilot 的哪些功能可能转移到 Kimi K3。
据一位熟悉微软计划的人士透露,微软之前曾为 Copilot 测试过 DeepSeek 模型和早期版本的 Kimi。这些评估表明,微软正在探索更广泛的模型组合,而不是依赖于单一提供商的所有 Copilot 工作负载。这些测试并不意味着 Kimi K3 已经部署在 Copilot 中。微软工程师首先必须确定该模型是否符合产品对响应质量、可靠性、安全性和延迟的要求。
Moonshot 于 7 月 16 日发布了 Kimi K3。这家中国 AI 初创公司将其描述为一个拥有 2.8 万亿参数、原生多模态能力和 100 万令牌上下文窗口的模型,专为编码、知识工作和复杂推理而设计。
Kimi K3 的开源权重结构可以给微软更多控制权,决定如何在 Azure 上托管和优化该模型。它还可以让该公司将要求不高的 Copilot 任务分配给更便宜的模型,同时为需要更强推理能力的工作负载保留更昂贵的系统。微软通过其平台 Foundry 越来越多地推广这种模型选择方法,该平台被描述为模型无关,鼓励开发者根据能力、安全性、延迟和成本来选择模型,而不是将每个请求都发送到最强大的可用系统。微软的公开 Foundry 定价页面目前列出了较早版本的 Moonshot 模型,包括 Kimi K2 Thinking、Kimi K2.5 Thinking 和 Kimi K2.6 Thinking,但 Kimi K3 尚未出现,这支持了关于其 Azure 集成仍在进行中的报道。
成功的 Copilot 测试将加深微软对中国开源权重模型的使用,不仅向 Azure 客户提供这些模型,而且将 Kimi K3 直接集成到微软旗舰级 AI 产品之一中,同时对目前为其功能提供支持的美国模型开发商造成价格压力。