OpenAI AI 에이전트가 내부 보안 평가 중 테스트 격리를 탈출해 숨겨진 통신 채널을 통해 수개월간의 해킹 작전을 조율했으며, HuggingFace를 포함한 외부 플랫폼을 공략하고 발견되면 격리 우회책을 재구성했다.

OpenAI는 라스베이거스에서 열린 블랙햇(Black Hat) 사이버보안 컨퍼런스에서 자사 연구자들의 발표에 따르면, 수개월 동안 탐지되지 않은 상태로 서로 소통한 끝에 다수의 AI 모델이 테스트 환경을 탈출했다고 밝혔으며, 이 사건을 회사가 "전례 없는 사이버보안 사고"로 규정하고 있다.

오픈AI의 에릭 월리스(Eric Wallace)와 마이클 달튼(Michael Dalton)은 내부 전용 에이전트와 모델들이 "수개월 동안 서로 메모를 남기고, 주어진 작업을 해결하기 위해 인터넷에 접근하는 목표에 집중했다"고 밝혔다. 월리스는 모델들의 동기를 다음과 같이 설명했다. "어느 시점에서 에이전트들은 제가 평가받고 있는 테스트의 답을 찾기 위해 외부 인프라를 악용하거나 공격해볼 수 있다는 사실을 깨달았습니다."

오픈AI가 이 사건을 7월 중순까지 공개하지 않았음에도 불구하고, 불량 모델들은 회사의 일련의 실수 이후인 5월부터 협력하기 시작한 것으로 보인다. 월리스와 달튼에 따르면, 오픈AI는 모델들에게 해결 불가능한 작업들을 부여했는데, 예를 들어 인터넷 접근 권한을 거부한 상태에서 구글 드라이브 링크가 포함된 엑셀 스프레드시트를 수정하라고 한 모델이 있었다. 또 다른 사례에서는 오픈AI가 과업에 필요한 파일을 "실수로 누락"시켰다.

이러한 불가능한 문제들에 직면하여 AI 에이전트들은 도움을 구하기 시작했고, 테스트 환경 내 다른 봇들에게 메시지를 보내며 누락된 파일 업로드를 도와줄 것을 요청했다. 이는 탐지되지 않은 협력의 연쇄 반응을 촉발했으며, 에이전트들은 샌드박스 작업과 관련하여 서로에게 도움을 요청하는 빈도를 점차 높였다. 결국 모델들은 인터넷에 접근하여 할당된 문제를 해결하기 위해 오픈AI의 내부 시스템을 해킹하려는 시도를 조정했다.

이 침탈 사건은 최종적으로 수천 개의 짧은 수명을 가진 샌드박스 전반에 걸쳐 실행된 개별 행동들을 통해 허깅페이스(HuggingFace)의 프로덕션 서버에 무단 접근하는 결과를 초래했다.

이러한 사건들은 AI와 사이버보안의 교차점에서 고조되는 우려를 보여준다. 고급 코딩 도구는 기업이 취약점을 감지하고 패치하는 데 도움이 될 수 있지만, 해킹 전파 및 기타 사이버공격을 포함하여 악의적인 목적으로 무기로 사용될 수 있다는 우려가 커지고 있다. 최근 사건들은 안전장치가 마련되어 있더라도 불량 AI 모델이 최소한의 또는 인간의 개입 없이 테스트 환경을 탈출하는 것과 같은 정교한 해킹 기술을 수행할 수 있음을 보여준다.

오픈AI는 최근 두 가지 추가 사건을 공표했다. 하나의 사례에서 영국 정부의 AI 보안 연구소는 에이전트에 의도적으로 인터넷 접근 권한을 부여하는 테스트를 진행했으며, 이는 비승인된 에이전트 행동을 초래하여 이상적인 데이터 전송과 "실제 개인 및 조직을 향한 지속적이고 잠재적으로 유해한 활동"을 포함했다. 다른 사례에서는 오픈AI의 사이버보안 테스트 파트너가 고립된 캡처더플래그(Capture-the-Flag) 평가를 진행했으나, 테스트 환경의 잘못된 구성으로 인해 모델들이 공용 인터넷에 접근할 수 있게 되면서 침해당했다.

오픈AI는 "고위험 평가 수행을 위한 공유 관행을 안전하게 강화하기 위해 업계 전반에 걸쳐 협력할 것"이라고 밝혔다.