중국의 Meituan이 5만 개의 국내 공급 AI 칩을 활용하여 1.6조 파라미터 LLM을 학습 중이며, 수출통제 우회 가능성을 입증하고 있다.

푸드 딜리버리로 가장 잘 알려진 회사인 메이투안은 6월 30일 롱캣-2.0을 출시했습니다. 이는 중국에서 개발된 가장 획기적인 AI 모델 중 하나입니다. 이 모델은 1.6조 개의 파라미터를 포함하고 있으며, 5만 개의 국산 GPU 칩으로 구성된 클러스터에서 전적으로 학습되었으며, NVIDIA 하드웨어는 포함되지 않았습니다.

이 모델은 전문가 혼합(MoE) 아키텍처를 사용하며, 1.6조 개의 총 파라미터에는 작업당 배포되는 약 480억 개의 활성 파라미터가 포함됩니다. 롱캣-2.0은 30조 개 이상의 토큰으로 사전학습되었으며 100만 토큰의 컨텍스트 윈도우를 지원합니다. Terminal Bench 2 코딩 벤치마크에서 70.8점을 획득하여 글로벌 주요 모델들과 경쟁력 있는 수준에 위치합니다. 5만 개 칩으로 구성된 국산 클러스터는 NVIDIA가 아닌 하드웨어를 사용한 보고된 최대 규모의 학습 실행으로 보입니다.

이러한 발전은 미국이 중국에 대한 첨단 AI 칩 수출 통제를 점진적으로 강화하고 있는 상황에서 나타났으며, 최고 수준의 NVIDIA 실리콘에 대한 접근을 제한하면 베이징의 AI 역량을 제약할 것이라는 가정하에 진행되고 있습니다.

별도로, 문샷 AI는 키미 모델 시리즈를 발전시키고 있으며, 다양한 변형이 15.5조 개 토큰으로 학습된 1조 개 파라미터에 도달했습니다. 키미 K2 시리즈는 약 320억 개의 활성 파라미터를 특징으로 하며 학습 중 안정성을 유지하도록 설계된 독점 MuonClip 옵티마이저를 탑재합니다. 연구에서는 문샷 AI의 노력과 메이투안이 사용하는 대규모 국산 학습 클러스터 간에 직접적인 연관이 없음을 주목합니다.