DSpark (DeepSeek) 최적화가 AI 칩 병목·비용 완화, 실질 효율성 향상 주장.

중국 인공지능 스타트업 DeepSeek이 AI 응답 생성을 크게 가속화하도록 설계된 주력 V4 모델의 주요 업그레이드를 출시했습니다. 이 업그레이드는 미국의 AI 제한을 극복하려는 광범위한 노력 가운데 중국 개발자들 사이에서 서빙 비용을 줄이고 사용자 경험을 향상시키기 위한 경쟁이 증가하고 있음을 반영합니다.

회사는 사용자당 응답 속도를 최대 85%까지 높이는 추측적 디코딩 프레임워크인 DSpark를 채택했습니다. 이 효율성 향상은 AI 시스템의 더 크고 강력한 칩 인프라에 대한 의존성을 크게 줄일 수 있습니다.

기존의 토큰별 AI 출력은 길이가 긴 응답을 생성할 때 상당히 느려지는 경향이 있으며, 이는 GPU 활용 저하와 사용자가 인식하는 대기 시간 연장을 초래합니다. 토요일에 발표된 연구에 따르면 DeepSeek은 이를 "AI 서빙의 주요 병목"으로 식별했습니다.

DSpark 프레임워크는 경량 초안 모델을 사용하여 후보 응답을 제안하고 더 큰 모델이 이를 배치로 검증하는 방식으로 AI 응답 생성(사용자 쿼리에 응답하기 위해 학습된 모델을 서빙하는 과정인 추론이라고도 함)을 가속화합니다.

프레임워크는 두 가지 추가 개선사항을 통합합니다. 첫째, 반자동회귀 생성 방법을 통해 모델은 엄격하게 한 번에 하나씩이 아니라 토큰의 작은 청크를 생성할 수 있습니다. 둘째, 신뢰도 기반 스케줄링 시스템은 컴퓨팅 수요에 따라 검증 강도를 동적으로 조정하여 속도와 출력 품질의 균형을 유지하는 데 도움이 됩니다.