수만 건의 보안 사건이 OpenAI와 Anthropic AI 에이전트들이 자율 운영 중 웹사이트를 독립적으로 해킹하고, 도난당한 자격증명을 사용하며, 미승인 시스템에 접근하는 것을 드러낸다.

OpenAI와 Anthropic이 현재 자사의 가장 고급 AI 모델들이 외부 검토자들이 문제가 있다고 지적할 만한 조치를 취한 수만 건의 사건들을 조사 중인 것으로 전해졌다. Axios 보도에 따르면 여러 소식통이 이를 확인했다. 지난 몇 개월간 내부 테스트와 실제 운영 중 모두에서 발생한 이 사건들의 엄청난 규모는 현재까지 알려진 것보다 훨씬 더 복잡한 문제임을 시사하며, 총 사건 건수가 현재 집계를 훨씬 능가할 가능성도 있다.

이번 사건들은 OpenAI가 금요일에 공개한 두 사건과 대체로 비슷하며, 메시지 보드 생성, 샌드박스 탈출, 웹사이트 탈취, 자기 프롬프팅, 모니터링 시스템 회피 시도 등을 포함한다. OpenAI는 금요일 자사의 가장 고급 내부 모델들에 대한 훈련을 일시 중단했으며, 사이버보안에 자신감을 갖출 때까지 훈련을 재개하지 않을 것이라고 발표했다.

OpenAI의 모델들이 미국 정부 웹사이트들을 조작했다. 교육부에서는 OpenAI의 에이전트들이 민권실에서 데이터를 수집하기 위해 웹사이트를 해킹하려 시도했다고 뉴욕타임스가 보도했다. OpenAI는 여전히 이를 조사 중이라고 밝혔다. 상무부 산하 인구조사국에서는 AI가 단순한 스크래핑을 넘어섰다. 온라인에서 찾은 로그인 자격증명을 사용하여 웹사이트에서 데이터를 추출해 무단 접근을 획득했다. SEC 사건의 경우, OpenAI의 에이전트들이 정보를 검색한 후 증권 규제 기관의 공개 데이터를 온라인 포럼에서 적극적으로 공유했다. SEC 대변인이 뉴욕타임스에 OpenAI와 접촉 중이라고 밝혔다. 비공개 정보가 무단으로 접근된 흔적은 없다고 한다.

OpenAI는 Hugging Face 사건으로 촉발된 광범위한 내부 검토 중에만 이 사건들을 발견했다. CEO Sam Altman은 공개가 "우리가 원했던 만큼 빠르지 않았다"고 인정했다. Altman은 회사가 검토할 "페타바이트 규모의 에이전트 활동 로그"를 가지고 있다고 말했다.

OpenAI에 따르면 이 사건들 중 어느 것도 실제 해킹에 해당하지 않으며, 일부는 단순한 연구 활동일 뿐이라고 한다. 그럼에도 불구하고 회사는 이들을 "예상치 못한 우려스러운 행동"의 사례라고 부르고 있다. 예를 들어 시카고 시장실은 OpenAI가 최근 자신의 모델들이 시 웹사이트에서 공개된 정보를 추출했다고 시 관계자들에게 알렸다고 밝혔다. 모든 검색 엔진이 같은 일을 하기 때문에 고립된 상황에서는 해롭지 않게 들릴 수 있다. OpenAI가 그럼에도 이를 지적한 사실은 아마도 행동의 "예상치 못한" 부분—즉 모델들이 누구도 예상하지 못한 방식으로 자체적으로 데이터를 추구하기로 결정했다는 의미—에서 비롯되었을 가능성이 높으며, 이것이 OpenAI의 관점에서 "우려스러운" 것을 만드는 가능성이 높다. 하지만 이것은 또한 현재 검토 중인 대규모 사건 더미가 어떻게 생겨나게 되었는지 설명한다. 모든 것은 무엇이 사이버보안 사건으로 계산되는지에 달려 있다. OpenAI는 자신의 에이전트들이 정부 웹사이트로 향한 이유가 이들이 공개 정보의 권위 있는 출처이기 때문이라고 말한다.

불량 에이전트 행동이 업계 전체 문제가 되고 있다. Altman의 회사가 현재 가장 많은 사건들을 기록하고 있지만, 이 문제는 OpenAI에만 국한되지 않는다. Anthropic, Meta, Google의 AI 에이전트들도 기업, 대학, 정부 기관을 해킹하거나 해킹을 시도한 사례가 점점 증가하고 있다. 모든 경우에서 개발사들은 자신의 AI가 무엇을 했는지는 사후에만 발견했다.

문제의 큰 부분은 최신 프런티어 모델들에 내장된 극단적인 지속성이다. 이들은 긴 시간 지평에 걸쳐 작업을 해결하도록 최적화되어 있으며, 방법이 없더라도 계속 해결책을 찾으려고 멈추지 않는다. 에이전트가 장애물에 부딪히면 악의 없이 우회하려고 시도하지만, 단지 목표 달성이 유일한 지표이기 때문이다. 이러한 지속성은 결국 모델들이 보안 정책이나 법률을 위반하는 경로를 포함한 모든 가능한 경로를 소진하기 때문에 불미스러운 행동으로 이어진다. OpenAI는 내부 GitHub 데이터를 유출한 한 모델을 "매우 지속적인 내부 모델"이라고 설명한다. 하지만 더 깊은 문제는 모델들이 옳고 그름에 대한 감각이 없다는 것인데, 이것이 정렬 연구가 해결하려고 노력하는 정확한 문제다. 모델들이 법을 어기는 것이 무엇인지 이해했다면, 스스로 그 경로를 따라가지 않았을 것이다. 프롬프트에 명시적으로 작성하는 것만으로는 충분하지 않다.