Pirate Wires는 중국이 제재 대상인 미국산 AI 칩을 사용하고 있다는 증거를 찾았다고 주장하는 전직 OpenAI 연구원을 조명했다.
11월 12일, 전직 OpenAI 연구원이었으며 현재는 자신의 연구소 Unemployment Labs를 설립한 Will DePue가 X에 포렌식 증거를 게시했습니다. 이 증거에 따르면 중국의 주요 AI 연구소(DeepSeek, Moonshot AI, MiniMax, Ant Group)가 Nvidia의 Blackwell 칩으로 오픈소스 모델을 훈련시켰습니다. Blackwell과 같은 첨단 칩은 대규모 AI 모델의 구동과 훈련을 가능하게 합니다. 미국은 2022년부터 여러 첨단 칩과 함께 Blackwell에 대해 수출 통제를 시행해 왔습니다. DePue의 분석 결과, 문제의 중국 연구소들은 모두 2026년 중반 어느 시점에 Blackwell로 전환한 것으로 나타났습니다.
10월 29일, 뉴욕타임스는 Nvidia CEO 젠슨 황이 중국인 사업가이자 간첩 혐의를 받는 Alice Huang과 가까운 관계였다고 보도했습니다. 지난 목요일 젠슨 황은 이 관계를 인정한 뒤 CEO직에서 물러났습니다. 이 사건으로 중국의 Nvidia 칩 접근에 대한 젠슨 황의 입장에 다시 관심이 쏠렸습니다. 그는 미국의 수출 통제가 완화되거나 해제되기를 바란다고 공개적으로 밝혔고, Blackwell을 중국에 판매하는 것이 미국의 이익에 반하지 않는다고 강하게 주장했습니다. (그는 이후 입장을 수정하여, 올해 초 언론에 중국이 미국의 "최신 및 최고" 칩에 접근하지 못하도록 해야 한다고 말했습니다.) 이번 주 Nvidia는 미국 수출 통제 준수를 감독할 위원회를 신설한다고 발표했습니다.
저는 DePue와 대화를 나누며 그의 연구 결과, 발견 과정, 그리고 이것이 미·중 AI 경쟁에 주는 의미에 대해 더 자세히 들어보았습니다. 대화 내용은 명확성과 간결성을 위해 편집되었습니다.
**Evan Milenko:** 자기소개를 부탁드리고, 무엇을 발견하셨는지 말씀해 주시겠습니까?
**Will DePue:** 저는 지난 3년 동안 OpenAI에서 일했습니다. 4월에 퇴사했고, 지난 몇 달 동안은 천문학에서부터 애틀랜타에서의 사냥까지 다양한 독립 프로젝트를 진행했으며, 이번 연구처럼 AI 연구 프로젝트도 포함되어 있습니다.
저는 오픈소스 모델의 초기 시드, 즉 모델을 초기화하는 시작 숫자 집합을 분석해 보자는 아이디어를 떠올렸습니다. 거의 모든 AI 모델은 본질적으로 수십억, 심지어 수조 개에 달하는 거대한 숫자 목록["가중치(weight)"라고도 함]으로 구성됩니다. 이 숫자들을 곱하고 더하여 [특정 토큰이 다음에 나타날 가능성을 예측하면서] 일관된 텍스트를 생성하고, 그렇게 해서 ChatGPT와 같은 모델이 됩니다. 모델은 무작위 숫자의 거대한 목록으로 시작한 뒤 천천히 훈련됩니다. 이 숫자들은 조정되고, 변경되고, 뒤집히면서 결국 AI 모델이 됩니다.
흥미롭게도, 모델이 처음 가지는 무작위 숫자는 훈련 과정 거의 전체에 걸쳐 살아남는 일종의 "지문"을 남깁니다. 이는 임의적인 이유에서 발생합니다. 거의 모든 연구소가 사용하는 일반적인 AI 훈련 라이브러리인 PyTorch가 수년 전 이 무작위 숫자들을 병렬로 생성하기로 결정했기 때문입니다. 동시에 사용된 하드웨어와 모델에 관한 기타 정보도 지문으로 남습니다. 대부분의 정보는 사라지지만 상당한 부분은 마지막까지 감지할 수 있습니다. 이를 통해 모델이 어떤 GPU로 훈련되었는지 알 수 있습니다.
**Evan Milenko:** 이를 통해 중국의 4개 연구소가 공개한 오픈소스 모델이 Nvidia의 Blackwell 칩으로 훈련되었다는 것을 확인하셨다는 말씀이죠?
**Will DePue:** 네, 맞습니다. 이 정보는 GPU가 어디에 있는지, 어디에서 사용되었는지에 대해서는 아무것도 알려주지 않습니다. 단지 이 모델들이 처음 만들어질 때 상당수의 B300 GPU["Blackwell Ultra", Nvidia의 2025~2026년 세대 첨단 Blackwell 칩]로 제작되었다는 사실만 알려줍니다. 또한 수백 개의 다른 오픈소스 모델이 훈련된 칩도 식별할 수 있었는데, 여기에는 Hopper 세대 칩으로 훈련된 모델, AMD 칩(성능은 낮음), 심지어 일부 중국산 칩으로 훈련된 모델도 포함됩니다.
**Evan Milenko:** Blackwell 칩은 Nvidia의 가장 발전된 칩이 맞죠? 그런데 이론적으로는 Nvidia의 2세대 칩(Hopper)들을 연결해서 비슷한 결과를 얻을 수 있지 않을까요?
**Will DePue:** Blackwell 칩은 현재 널리 사용되는 가장 발전된 Nvidia 칩입니다. Vera Rubin 플랫폼[Nvidia의 차세대 슈퍼컴퓨터 아키텍처]이 가동 준비 중이지만, 제가 아는 한 실제로 훈련에 이를 적극 활용하는 곳은 거의 없습니다.
AI 칩은 결국 효율성과 비용의 문제입니다. 어느 시점이 되면 수억 달러, 아니 수십억 달러에 달하는 GPU를 이야기하게 됩니다. 칩이 두세 배 더 빠르거나 효율적이라면 그 차이는 매우 큽니다. 하지만 결국 원한다면 성능이 떨어지는 GPU를 많이 묶어서 사용할 수는 있습니다. 아이폰 수십억 대를 연결해서 AI를 훈련시킬 수도 있습니다. 매우 느리고, 엄청나게 비싸며, 성능도 그리 좋지 않겠지만 불가능한 일은 아닙니다.
결국 이런 [칩들]도 컴퓨터입니다. 매우, 매우 빠른 컴퓨터일 뿐이죠.
**Evan Milenko:** 이 칩들이 중국 밖의 클러스터에 위치해 있다면, 미국의 수출 통제는 중국이 이 칩들로 훈련하는 것도 막아야 하는 것 아닌가요?
**Will DePue:** 저는 수출 통제 전문가가 아닙니다. 어찌 되었든 수출 통제는 가장 중요하고 핵심적인 기술에 대한 접근을 제한하기 위해 설계되었습니다. 어떤 허점을 통하든, 수출 통제의 의도는 분명히 제대로 작동하지 않고 있습니다.
*편집자 주: 미국의 수출 통제는 Nvidia의 최첨단 칩이 중국 기업으로 배송되는 것을 제한하지만, 중국 연구소들은 현재 해외 데이터센터의 컴퓨팅 자원을 임대하여 사용할 수 있습니다. 11월 15일 상무부는 중국 기업에 컴퓨팅 자원을 제공하는 것에 대한 새로운 제한 조치를 발표했으며, 이는 11월 19일부터 시행됩니다.*
**Evan Milenko:** 이 결과를 게시하면서 공개 여부에 대한 내적 갈등이 있었다고 쓰셨는데, 왜 그랬나요?
**Will DePue:** 지난 한두 달 동안 이 결과를 보류해 왔는데, 공유하는 것에 대해 매우 갈등이 있었습니다.
처음 이를 발견했을 때는 사람들이 이해하길 바랐기 때문에 공개해야 한다고 생각했습니다. 당시에는 [지문이] 패치하기 꽤 쉬운 만큼, 결과를 그냥 트윗으로 올리는 것이 순진한 일인지 확신할 수 없었습니다. 지문을 제거하는 데에는 아마 두 줄의 코드나 하나의 플래그면 충분할 겁니다. 머지않아 이 오픈소스 모델들에서 지문이 사라질 것으로 예상합니다.
공개하기로 한 결정에 대해서는 사실 잘 모르겠습니다. 친구들, 연구소 사람들, 백악관에서 알게 된 친구들 등 여러 사람에게 조언을 구하며 공유할지 고민했습니다. 제 전반적인 생각은, 국가 정보와 관련된 문제라면 미국 정부가 최신 DeepSeek 모델이 어떤 칩으로 훈련되었는지 알고 싶다면 그럴 방법이 분명히 있으리라는 것이었습니다. 최근 중국에 다녀온 친구들은 그곳 연구자들에게 "지금 무엇을 쓰고 계세요?"라고 물었더니 "아, 우리는 B300을 씁니다"라는 직접적인 답을 들었다고 말했습니다. 이는 항상 공공연한 비밀이었습니다.
**Evan Milenko:** 제가 듣는 이야기는 미국의 우위가 칩이 아니라 혁신에서 나온다는 것이고, 중국은 주로 증류 공격(distillation attack)이나 다른 방법으로 우리를 모방할 뿐 혁신을 하지 않는다는 것입니다. 그런데 선생님은 중국이 알고리즘 측면에서 어떤 면에서는 앞서 있다고 말씀하시는군요.
**Will DePue:** 중국 연구소들은 매우 훌륭한 연구를 하고 있습니다. 그들은 미국 연구소들과는 다른 방식으로 최전선을 밀어붙이고 있습니다.
그들이 컴퓨팅 자원 제약을 분명히 받고 있어서, 수출 통제가 어느 정도 효과를 내고 있는 것은 확실합니다. 이에 대응하여 그들은 매우 흥미로운 새로운 희소 어텐션(sparse attention) 기법과 GPU 메모리를 관리하는 다른 방법들을 개발했습니다. 저는 그들이 훌륭한 작업을 하고 있다고 생각하지만, 미국 연구소들에 비해 충분히 뒤처져 있다고는 생각하지 않습니다.
또한 그들은 엄청난 양의 증류[즉, 다른 AI 모델의 능력을 복제하는 방법]를 수행하고 있으며, 앞서가기 위해 할 수 있는 모든 일을 하고 있습니다. 이런 접근이 장기적으로는 그들에게 해가 될 가능성이 크다고 생각합니다.
**Evan Milenko:** 그렇다면 미국 연구소들은 증류된 모델이 아니라 더 크고 강력한 기본 모델을 보유하고 있다는 점에서 여전히 어느 정도 우위를 유지하고 있다는 말씀인가요?
**Will DePue:** 네. 미국 연구소들은 최신 모델을 공개하지 않고 더 오랫동안 보류하기 시작했습니다. Anthropic의 Fable에서 그런 사례를 보았고, Anthropic과 현재 OpenAI 모두 내부적으로는 여러 세대 앞서 있다는 소문이 있습니다.
이 미국 연구소들은 내부에서 매우 강력한 모델을 더 작은 모델로 증류한 뒤 그것을 공개할 수 있습니다. 이 작은 모델도 여전히 매우 훌륭할 수 있습니다. 이렇게 하면 내부적으로 증류의 이점을 누리면서도 매우 높은 품질의 모델을 공개하고, 대형 모델 자체는 절대 공개하지 않을 수 있습니다.
**Evan Milenko:** 큰 틀에서 수출 통제가 의도대로 작동하지 않고 있습니다. 이것이 선생님의 전문 분야가 아닐 수도 있다는 것은 알지만, 앞으로 무엇을 해야 한다고 생각하십니까?
**Will DePue:** 그 점에 대해서는 아주 강한 의견이 있지는 않습니다. 다만 칩 수출에는 매우 신중해야 한다고 생각합니다. AI는 매우 위험하고 중요한 기술이므로, 누가 이것을 개발하도록 도울지에 대해 매우 신중하게 생각해야 합니다. 정부가 특정 첨단 기술에 대한 접근을 제한하기로 결정한다면,