AI 모델이 MirrorCode 벤치마크에서 19일간 $2,600 비용으로 실행, 추론 경제학 공개

Epoch AI와 METR은 MirrorCode라는 새로운 코딩 벤치마크를 개발했으며, 이는 AI 모델이 원래 소스 코드에 접근하지 않고도 처음부터 전체 프로그램을 재구현할 수 있는지 테스트한다. 이 벤치마크는 유닉스 유틸리티, 데이터 직렬화, 생물정보학, 인터프리터, 정적 분석, 암호화 및 압축을 아우르는 25개의 대상 프로그램을 포함한다. 각 AI 생성 솔루션은 평가 중에만 모델이 마주치는 숨겨진 엔드투엔드 테스트를 포함하여 원래 프로그램의 출력을 정확히 재생산해야 한다.

MirrorCode의 독특한 특징은 관대한 추론 예산이다. 많은 소프트웨어 공학 벤치마크가 작업당 비용을 $1에서 $10로 제한하는 반면, MirrorCode는 훨씬 더 높은 지출을 허용한다. 가장 큰 작업 중 하나의 단일 실행 비용은 $2,600였으며, 이 기간 동안 AI는 인간의 개입 없이 19일 동안 지속적으로 작업했다.

Claude Opus 4.7이 두각을 나타냈으며, 약 16,000줄의 Go 코드와 40개 이상의 명령어로 구성된 생물정보학 도구 모음인 gotree를 재구현했다. 연구원들에 따르면 인간 엔지니어가 AI 지원 없이 동일한 작업을 완료하려면 2주에서 17주가 소요될 것이다. Opus 4.7은 14시간 만에 $251의 비용으로 이를 완료했다.

전반적으로 Claude Opus 4.7은 56퍼센트의 해결률을 기록했으며, 그 뒤를 이어 GPT-5.5가 44퍼센트, Gemini 3.1 Pro Preview가 32퍼센트를 기록했다. 심지어 모델이 프로그램을 완전히 재구현하지 못하더라도 일반적으로 90퍼센트 이상의 테스트를 통과한다. 이 벤치마크는 명확한 난이도 계층화를 보여준다: uuid와 parseqsv와 같은 작은 프로그램은 테스트된 모든 모델에 의해 reliably 재구현되는 반면, 가장 큰 작업들은 전반적으로 해결되지 않았다.

진행 속도가 가속화되고 있다. 일년 전의 선도 모델이라면 약 30퍼센트 정도의 성과만 거두었을 것이며 캘린더 유틸리티와 같은 단순한 프로그램에만 국한되었을 것이다. 그러나 비용 추세는 일관된 패턴을 따르지 않는다. GPT-5.5는 동일한 작업에 대해 GPT-5보다 세 배 비싸지만, Claude Opus 4.7은 Claude Opus 4.1보다 세 배 저렴하다.

Epoch AI는 스캐폴드와 25개 대상 프로그램 중 22개를 오픈소스로 공개했으며, 이는 여섯 가지 프로그래밍 언어에 걸쳐 132개의 작업 인스턴스를 포괄한다. 세 개의 프로그램은 테스트 목적으로 보류되었다. 연구원들은 중요한 주의사항을 인정한다. MirrorCode가 대상으로서 오픈소스 프로그램을 사용하므로 모델이 훈련 과정에서 원래 코드를 접했을 가능성이 있다는 점이다. 초기 테스트 결과 "결과가 암기(memorization)에 의해 지배되지는 않았으나, 암기가 AI 성능에 기여할 가능성을 배제할 수는 없다"고 밝혔다.