Microsoft, Copilot의 AI 인퍼런스 비용 $600백만 절감 목표로 중국 모델 Kimi K3 테스트 중

Microsoft는 OpenAI 및 Anthropic의 더 비싼 모델에 대한 의존도를 줄이기 위해 Copilot 내에서 Moonshot AI의 Kimi K3 모델을 테스트할 준비를 하고 있다. The Information에 따르면, Microsoft는 Azure 클라우드 서비스에 Kimi K3를 추가하는 과정에 있으며, Copilot을 담당하는 엔지니어들은 해당 모델이 현재 OpenAI 및 Anthropic 시스템에서 실행 중인 기능을 구동할 수 있는지 평가할 계획이다.

보고서에 따르면 이러한 잠재적 전환으로 Microsoft의 AI 추론 비용을 최대 6억 달러까지 절감할 수 있을 것으로 예상된다. 추론은 모델이 프롬프트를 수신하고 응답을 생성할 때마다 사용되는 컴퓨팅을 의미한다. AI 서비스가 수백만 명의 사용자를 대상으로 운영되고 대량의 토큰을 처리할 경우 비용이 상당해질 수 있다. 그러나 Microsoft는 아직 이 비용 추정치를 공식적으로 확인하지 않았으며, 어떤 Copilot 기능이 Kimi K3로 이전될 수 있는지에 대한 세부 사항도 밝히지 않았다.

계획에 정통한 관계자에 따르면, Microsoft는 이전에 DeepSeek 모델과 이전 버전의 Kimi를 Copilot을 위해 테스트한 바 있다. 이러한 평가는 Microsoft가 모든 Copilot 워크로드에서 단일 공급업체에 의존하기보다는 다양한 모델의 혼합을 모색하고 있음을 시사한다. 이러한 테스트가 Kimi K3가 이미 Copilot에 배포되었음을 의미하는 것은 아니다. Microsoft 엔지니어들은 먼저 해당 모델이 응답 품질, 신뢰성, 안전성 및 지연 시간 측면에서 제품의 요구사항을 충족하는지 결정해야 한다.

Moonshot은 7월 16일 Kimi K3를 출시했다. 중국 AI 스타트업인 Moonshot은 이를 코딩, 지식 작업 및 복잡한 추론을 위해 설계된 네이티브 멀티모달 기능과 100만 토큰 컨텍스트 윈도우를 갖춘 2.8조 파라미터 모델이라고 설명한다.

Kimi K3의 오픈 웨이트 구조는 Microsoft가 Azure에서 모델을 호스팅하고 최적화하는 방식에 더 많은 통제력을 제공할 수 있다. 또한 Microsoft는 덜 부담스러운 Copilot 작업을 저렴한 모델에 할당하고, 더 강력한 추론이 필요한 워크로드에는 고가의 시스템을 예약할 수 있게 된다. Microsoft는 Foundry 플랫폼을 통해 이러한 모델 선택 접근 방식을 점차 강조해 왔는데, 이 플랫폼은 가장 강력한 사용 가능한 시스템으로 모든 요청을 보내기보다 기능, 안전성, 지연 시간 및 비용에 따라 모델을 선택하도록 개발자를 장려하는 '모델 중립적' 플랫폼으로 설명된다. Microsoft의 공개 Foundry 가격 페이지에는 현재 Kimi K2 Thinking, Kimi K2.5 Thinking, Kimi K2.6 Thinking 등 이전 Moonshot 모델들이 나열되어 있지만, Kimi K3는 아직 나타나지 않아 Azure 통합이 진행 중이라는 보도를 뒷받침한다.

Copilot 테스트가 성공한다면, Microsoft는 Kimi K3를 Azure 고객에게 제공하는 것을 넘어 중국산 오픈 웨이트 모델을 자체 핵심 AI 제품 중 하나에 직접 통합함으로써 중국산 오픈 웨이트 모델 사용을 심화시킬 것이다. 이는 동시에 현재 Microsoft의 기능을 구동하고 있는 미국 모델 개발사들에 대한 가격 압박을 가중시킬 것이다.