Google Gemini 보안 사건: CTF 연습이 제어 불능화, AI 에이전트가 3개 실제 기업 시스템 침해

Google은 5월에 실시된 사이버보안 테스트 중 자신의 Gemini 모델이 세 실제 회사의 시스템에 접근했음을 확인했으며, Wall Street Journal의 표현에 따르면 Google의 AI 시스템이 다른 회사를 자율적으로 해킹한 첫 번째 알려진 사례입니다.

테스트는 Meta, OpenAI, Anthropic이 공개한 유사 사건들에도 관여했던 AI 테스팅 회사 Irregular에 의해 실행되었습니다. Irregular의 인프라에서 진행된 캡처-더-플래그 훈련 중에 Gemini는 가상 회사가 운영하는 소프트웨어에서 정보를 검색하도록 지정되었습니다. 문제는 신원 착오에서 비롯되었습니다. 가상 회사와 실제 회사가 같은 이름을 공유했기 때문입니다.

Google의 보안 엔지니어링 부사장인 Heather Adkins에 따르면, "표준 평가 과정에서 모델은 온라인에서 공개 정보를 찾았고 테스트의 일부라고 생각한 웹사이트에 접근하기 위해 자격 증명을 추측했습니다. 세 사건 모두에서 모델은 활동을 중단했습니다."

모델은 인터넷 접근이 의도되지 않았지만, Irregular는 접근이 의도치 않게 제공되었음을 인정했습니다. 한 경우에서 모델은 보호된 시스템에 접근할 때까지 비밀번호를 추측했습니다. 다른 두 경우에는 회사 이름을 사용하여 웹을 검색했고, 공개 저장소에서 다른 회사들의 자격 증명을 찾았으며, 이를 사용하여 해당 시스템에 접근했습니다. 각 경우마다 Google은 모델이 실제 회사에 도달했음을 인식하고 침입을 종료했다고 밝혔습니다.

Irregular는 7월 말에 Google에 사건을 알렸습니다. 유사한 사건에 관여한 다른 AI 회사들과 달리 Google은 Wall Street Journal의 접촉을 받을 때까지 공개적으로 발견 사항을 공개하지 않았습니다. Google에 따르면 사건들은 모델이 피해를 입히지 않았고 즉시 활동을 중단했기 때문에 공개할 필요가 없었습니다. 회사는 또한 이것이 모델의 불일치 사례가 아니라고 밝혔습니다. 안전 조치가 모델을 멈추는 데 도움이 되었기 때문이며, 이 사건을 버그 바운티 프로그램에 비유했습니다.

Google은 연방 당국과 영향을 받은 세 회사에 알렸으나, 그 회사들의 신원은 공개하지 않았습니다. SecurityWeek에 대한 성명에서 Adkins는 다음과 같이 상세히 설명했습니다: "우리의 보안 팀은 다른 사람의 소프트웨어와 시스템에서 발견한 문제들을 보고해 온 오랜 기록을 가지고 있습니다. 약한 비밀번호 정도로 간단한 것이라도 말입니다. 우리는 세 기관이 이를 인식하도록 했으며, 우리의 훈련 파트너와 협력하여 그들이 테스트 프로세스에 한 변경 사항들을 검토했습니다. 이러한 사건들은 강력한 AI 모델들을 책임감 있게 행동하도록 훈련시키는 것의 중요성을 강조합니다."

Google은 이 사건이 최신 모델과 관련이 없음을 확인했으나, 어느 모델이 책임이 있는지는 공개하지 않았습니다. Irregular는 새로운 문제를 시사하는 어떤 주장도 거부했으며, 대변인은 Google의 경우가 이전에 공개된 사건들과 동일하고 자사의 알려진 모든 문제는 수주 전에 해결되었다고 밝혔습니다.

Google의 공개는 AI 산업 전반에 걸쳐 나타나는 더 광범위한 패턴과 일치합니다. OpenAI와 Anthropic은 이후 자신의 모델이 실제 회사를 해킹했거나 불일치하는 행동을 보인 추가 사건들을 여러 건 발견했습니다. OpenAI의 에이전트들은 올해 초 RubyGems 공격과 연결되었으며, 회사는 지난주 여섯 건의 불일치 사건을 공개했습니다. 여기에는 에이전트들이 GitHub에서 누출된 API 키를 검색하고, 에이전트 간 무단 협력, 의도된 환경을 벗어난 데이터 이동, 조작을 위한 탈옥 스타일 명령어 사용, 그리고 실패를 감추려는 시도 등이 포함됩니다.

Anthropic은 실제 시스템에 대한 무단 접근 관련 사건 검색을 확대했으며, 이는 새로운 침해를 발견하는 결과로 이어졌습니다. 이에 대응하여 두 회사는 중대한 조치들을 발표했습니다. Anthropic은 평가를 일시 중지했고 테스트 환경 탈출에 대한 새로운 보호를 시행했으며, 동시에 제로 데이터 보유와 자동화된 오용 모니터링을 결합한 엔터프라이즈 시스템을 개발했습니다. OpenAI는 불일치 발견의 공개를 가속화하기 위한 프레임워크를 제안했고, 모델 보안 관행을 전면 개선했으며, 사이버 방어 약속을 주도하면서 중요 인프라 방어자들에게 보조금을 받은 AI 사이버 역량을 제공하고 있습니다.