Anthropic의 Mythos 모델이 인간 전문가들이 2년 이상 검토해온 양자내성 암호 알고리즘(HAWK 서명 방식 포함)의 암호학적 취약점을 발견했으며, 약 $100k의 비용으로 60시간 내에 이를 파괴했다.

Anthropic의 AI 모델 Claude Mythos Preview는 디지털 보안을 뒷받침하는 암호화 알고리즘의 수학적 약점을 발견했습니다. 이 모델은 양자 내성 서명 방식인 HAWK에 대한 개선된 공격을 개발하고, 고급 암호화 표준(AES)의 축소 버전에서 새로운 공격을 식별했습니다. 암호화는 거의 모든 온라인 활동을 보호하며 AES는 세계에서 가장 널리 사용되는 대칭 암호화 표준이므로, 이러한 발견들은 AI 모델이 인터넷 보안의 핵심 가정에 도전할 수 있음을 보여줍니다.

Anthropic은 두 발견 모두 현재 사용 중인 시스템에는 영향을 미치지 않는다고 강조합니다. HAWK는 미국 국립표준기술연구소(NIST)가 진행 중인 표준화 과정의 후보로 남아 있으며, AES 공격은 전체 10 라운드 중 7개만 사용하는 수정된 버전에만 적용됩니다. 그럼에도 불구하고 이 결과는 기존 분석이 놓쳤던 잠재적 취약점을 드러냈기 때문에 의미가 있습니다.

HAWK는 NIST의 추가 양자 내성 서명을 위한 경쟁 3라운드에서 남은 방식 중 하나입니다. 이는 미래의 양자 컴퓨터에 대해 안전하도록 설계된 방식입니다. 인간 전문가들이 HAWK를 2년 이상 검토한 후, Mythos Preview는 단 60시간 만에 개선된 공격을 발견했습니다. 이 모델은 다중 에이전트 시스템 내에서 반자동으로 작동했으며, 한 에이전트가 처음에는 해당 아이디어를 실행 불가능하다고 여겼으나 다른 에이전트가 이를 완전히 활용할 방법을 찾았습니다. 이론 컴퓨터 과학 배경을 가지고 있지만 격자 기반 암호학 전문 지식이 부족했던 인간 연구자는 주로 프로젝트 관리 역할을 수행했습니다. 이 조사에는 API 요금으로 약 10만 달러가 소요되었습니다.

이 공격은 HAWK 보안의 기초가 되는 수학적 격자에서 이전에 감지되지 않은 대칭성을 이용합니다. 또한 이 모델은 AES-128의 축소 버전에 대한 공격을 거의 완전히 자율적으로 발견했습니다. 연구자가 Claude에게 가설을 수립하고 실험적으로 검증할 수 있는 골격을 제공했습니다. Mythos는 공격자가 추측해야 할 항목 중 하나를 제거하고 기존 최고 수준의 공격보다 200배에서 800배 향상된 'Möbius Bridge'라는 새로운 지문 인식 방법을 개발했으며, Anthropic은 이를 이렇게 명명했습니다.

AES 연구에서 인간의 프롬프팅 역할은 제한적이었습니다. 모델은 처음에 문제를 추구하기를 거부하며 "다른 결과를 원한다면 대상이 달라져야 합니다… AES-128 r5/r6는 정말로 어렵습니다"라고 밝혔습니다. 연구자가 '진정으로 독창적인 아이디어'를 검색하도록 독려한 후에야 Mythos는 더 창의적인 접근 방식을 탐색하기 시작했습니다. 3일 동안 모델은 주요한 프롬프트를 세 개만 받으면서(주로 집중력을 유지하기 위함) 수억 개의 토큰을 생성했습니다. 그중 하나의 프롬프트는 다음과 같았습니다. "우리는 쉬운 과일을 찾고 있는 것이 아니라, 진정으로 어려운 발견을 하기 위한 적절한 연구를 원합니다." 이 연구 단계에서는 약 10억 개의 토큰에 대해 API 요금으로 약 10만 달러가 소모되었습니다. 이후 암호학 전문 지식이 없는 인간 연구자들이 결과를 검증하는 데 수백 시간을 할애했습니다.

Anthropic은 이 발견들을 미국 정부 및 산업 파트너들과 사전에 공유했으며, HAWK의 취약점 공개를 해당 방식의 저자들과 조율했습니다. Mythos Preview는 아직 대중에게 공개되지 않았습니다. ETH 취리히, 텔아비브 대학교, 하이파 대학교의 연구진과 협력하여 Anthropic은 언어 모델의 암호해독 능력을 체계적으로 평가할 수 있도록 CryptanalysisBench라는 벤치마크를 개발했습니다.