AI模型在MirrorCode基准测试上运行19天，成本2600美元，揭示推理经济学。

Epoch AI和METR开发了MirrorCode，一个新的编码基准，用于测试AI模型是否能够在不获取原始源代码的情况下从零开始重新实现完整的程序。该基准包括25个目标程序，涵盖Unix实用程序、数据序列化、生物信息学、解释器、静态分析、密码学和压缩。每个AI生成的解决方案必须完全重现原始程序的输出，包括模型仅在评估期间才会遇到的隐藏端到端测试。

MirrorCode的一个显著特点是其慷慨的推理预算。虽然许多软件工程基准将每项任务的成本限制在1美元至10美元，但MirrorCode允许大幅更高的支出。最大的一项任务单次运行成本为2600美元，期间AI连续工作19天，无需人工干预。

Claude Opus 4.7表现突出，重新实现了gotree——一个包含约16000行Go代码和40多个命令的生物信息学工具包。根据研究人员的说法，一个没有AI协助的人类工程师需要2到17周才能完成相同的工作。而Opus 4.7仅用14小时完成，成本为251美元。

总体而言，Claude Opus 4.7的解决率达到56%，其次是GPT-5.5的44%和Gemini 3.1 Pro Preview的32%。即使模型未能完全重新实现程序，它们通常也会通过90%或更多的测试。该基准揭示了明确的难度分层：uuid和parseqsv等小型程序能被所有测试的模型可靠地重新实现，而最大的任务在所有方面都仍未解决。

进展在加速。一年前的领先模型只能达到约30%的成功率，并仅限于日历实用程序等更简单的程序。然而，成本趋势并不遵循一致的模式——GPT-5.5对于相同任务的成本是GPT-5的三倍，而Claude Opus 4.7的运行成本比Claude Opus 4.1便宜三倍。

Epoch AI已开源了脚手架和25个目标程序中的22个，涵盖六种编程语言的132个任务实例，其中三个程序保留用于测试目的。研究人员承认一个重要的警告：由于MirrorCode使用开源程序作为目标，模型可能在训练期间遇到过原始代码。他们的初步测试表明"结果并非由记忆主导，但我们不能排除记忆对AI性能有贡献的可能性。"