DeepSeek가 V4.1-Flash 모델의 빠르고 저렴한 성능을 뒷받침하는 vLLM 기반 추론 엔진 DeepInfer를 오픈소스로 공개한다. 이 엔진은 연산 비용과 에너지 사용량을 줄여준다.

Deepseek가 자사 내부 추론 프레임워크인 DeepInfer를 Apache License 2.0으로 오픈소스 공개했습니다. 추론은 학습된 AI 모델이 요청을 처리하고 응답을 생성하는 과정을 말합니다. DeepInfer는 Deepseek의 V4.1-Flash 모델이 대규모로 빠르게 답변을 생성할 수 있도록 하는 서빙 소프트웨어입니다.

이 프레임워크는 vLLM을 기반으로 하며, 최적화된 연산 커널, 여러 칩에 걸친 분산 처리, 그리고 더 빠른 텍스트 생성 기법을 추가했습니다. 앞으로 출시될 Deepseek 모델의 코드도 오픈소스로 공개될 예정입니다. Deepseek은 또한 자체 호스팅 환경에서도 동일하게 동작하도록 공식 Deepseek API의 토큰 처리 방식을 재현한 deepseek-recipe도 함께 公開합니다.

Deepseek의 모델은 이미 사용 비용이 매우 낮은 편이며, DeepInfer는 이를 더 저렴하게 운영하는 데 남아 있던 격차를 해소하고자 합니다. 회사는 X에서 목표가 "커뮤니티가 컴퓨팅 비용을 낮추고, 에너지 사용을 줄이며, AI를 더 저렴하게 만드는 데 도움을 주는 것"이라고 밝혔습니다.

이번 공개는 OpenAI, Anthropic 같은 서구 제공업체에 대한 가격 압박도 가중시킵니다. 중국과 미국 간 AI 경쟁을 고려하면, 이번 조치는 정치적 동기를 띠고 있을 수도 있습니다. 서구 AI 기업들이 성장 목표를 달성하지 못한다면, 이는 미국 경제와 그 너머에 위험이 될 것입니다.