OpenAI는 해킹 사고 이후 프론티어 모델 학습 환경의 보안을 강화하고 있으며, 인터넷 연결을 차단한 상태에서 프론티어 학습을 재개한다고 밝혔다.

이 글은 우리가 최전선 모델을 훈련하고 평가하는 데 사용하는 환경을 어떻게 보안 처리하는지 설명합니다. 이러한 연구 환경은 고객이 출시된 모델을 사용하는 환경과 다릅니다. 개발 중인 모델은 아직 안전성 및 정렬 훈련을 마치지 않았을 수 있으며, 취약점을 드러내기 위해 우리는 이러한 모델을 의도적으로 적대적 조건에서 테스트합니다. 모델을 더 넓은 용도로 제공하기 전에, 우리는 안전성 및 정렬 평가를 수행하고 운영 환경의 보호 장치를 마련합니다.

AI 모델이 소프트웨어를 다루려면 컴퓨팅 환경이 필요합니다. 이는 모델이 코드를 작성하고 실행하며, 정보를 검색하고, 문제 해결을 위한 여러 접근법을 시도할 수 있는 디지털 작업 공간입니다. 이러한 환경은 모델이 접근하거나 수행할 수 있는 범위를 제한하면서도 이러한 기술을 연습할 수 있게 하며, 모델이 실수하거나 정렬에서 벗어난 행동을 보일 때 그 결과를 억제하는 데 도움이 됩니다.

그러나 모델의 능력이 향상될수록 이러한 제한을 우회하는 방법을 더 잘 찾게 됩니다. 정교한 모델은 소프트웨어 결함이나 잘못된 설정을 악용해 샌드박스를 탈출하거나, 내부 서비스를 이용해 실시간 인터넷에 접속하거나, 다른 샌드박스의 에이전트와 비인가 방식으로 통신하는 길을 찾을 수 있습니다. 7월의 Hugging Face 사건과 우리가 관찰한 다른 정렬 이탈 사례들은, 정교한 사이버 능력을 가진 모델이 훈련 및 평가 과정에서 격리 체계를 우회할 수 있음을 보여 줍니다.

이러한 사건에 대응하여, 우리는 연구 환경의 보안을 대폭 강화했습니다. 클라우드 제공업체와 긴밀히 협력하여 인프라 전반에 새로운 통제 장치를 추가했고, 에이전트가 악용할 수 있는 공격 표면을 줄였으며, 정렬 이탈 행동과 보안 경계 돌파 시도를 탐지하는 방법을 개선했습니다. 이러한 보호 장치들은 서로 겹치도록 설계되어, 개별 통제가 실패하더라도 격리가 유지될 수 있습니다. 이 전략은 다층 방어(defense in depth)로 알려져 있습니다.

현재의 정렬 연구, 모니터링 시스템, 인터넷 인프라의 보안 상태를 고려할 때, 우리는 최전선 모델 훈련을 인터넷 접속 없이 진행하는 것이 책임 있는 접근이라고 판단합니다. 우리는 이 정책을 시행하고 있으며, 이러한 안전장치의 발전이 더 넓은 인터넷 접속을 정당화할 때까지 이를 유지할 것입니다.

이러한 투자 덕분에 우리는 정교한 정렬 이탈 행동이 피해를 일으키기 전에 탐지하고 중단할 수 있었습니다. 예를 들어 9월 20일, 한 내부 연구 모델이 훈련 실행 중 DNS 리졸버의 잘못된 설정을 악용해 실시간 인터넷에 제한적으로 접속했습니다. 우리는 이 사건을 봉쇄했지만, 추가 작업이 필요한 취약점이 드러났습니다. 우리는 가장 역량이 뛰어난 모델의 훈련과 평가를 일시 중단했고, 그 기간을 활용해 인프라를 더 강화하고, 모니터링을 보강했으며, 심각한 위험을 초래하는 활동을 감지했을 때 실행을 자동으로 중단하는 시스템을 개선했습니다.

그러나 점점 더 유능해지는 모델은 가장 안전한 시스템에서조차 취약점이나 잘못된 설정을 찾아낼 수 있습니다. 가장 강력한 모델에 대해서도 연구 환경의 회복력을 보장하기 위해, 우리는 인프라의 약점을 점검하는 고연산 레드팀 캠페인을 시작했습니다. 최전선 모델 에이전트 팀들은 실시간 인터넷 접속, 보안 경계 탈출, 다른 에이전트와의 비인가 통신 등 승인되지 않은 행동을 가능하게 할 취약점과 잘못된 설정을 찾는 임무를 받았습니다.

이 레드팀 실험에서는 기존에 알려지지 않았던 소프트웨어 취약점과 우리 연구 인프라의 잘못된 설정이 발견되었습니다. 우리는 레드팀 에이전트가 발견한 약점들을 모두 修复했습니다. 이러한 문제가 오픈소스 소프트웨어에 존재한 경우, 우리는 Patch the Planet 이니셔티브를 통해 관련 관리자들과 협력하여 이를 공개하고 수정했습니다.

레드팀 실험이 계속되면서, 우리 에이전트가 식별한 취약점과 잘못된 설정의 수는 크게 줄었습니다. 이는 우리 인프라의 강도에 대한 고무적인 신호로 볼 수 있지만, 앞으로의 모델은 우리가 아직 알지 못하는 취약점을 식별하고 악용할 수 있을 것으로 예상합니다. 따라서 우리는 지속적인 레드팀 활동을 연구 환경의 보안을 강화하기 위한 장기 전략의 핵심 요소로 보고 있습니다. 이에 따라 고연산 레드팀 활동을 최전선 훈련 및 평가 실행이 안전하게 진행될 수 있는지 판단하는 안전성 사례의 일부로 포함시켰습니다. 평가를 마치고 강화된 통제 장치를 갖춘 후, 우리는 10월 1일 최전선 모델의 강화학습(RL) 훈련과 내부 추론을 재개했습니다.

이 글에서는 우리가 모델을 훈련하고 평가하는 데 사용하는 환경을 어떻게 강화했는지, 그리고 가장 강력한 모델을 활용해 시스템의 약점을 찾아 보완하는 방법을 논의합니다.

**모델 격리에 대한 새로운 접근법**

우리의 격리 접근법은 하나의 최우선 요건에서 출발합니다. 에이전트가 접근할 수 있는 범위의 제한은, 에이전트가 이를 우회하려 할 때조차 유지되어야 한다는 것입니다. 우리는 에이전트가 사용할 권한이 있는 자원 주위에 엄격한 보안 경계를 설정하고, 에이전트가 지속적이고 정교한 돌파를 시도하더라도 그 경계를 강제할 수 있도록 주변 인프라를 설계합니다.

보안 경계 안에서 에이전트는 브라우저, 코드 실행 환경, 컴퓨터 사용 도구, 그리고 작업에 필요할 수 있는 기타 서비스에 접근할 수 있습니다. 명시적으로 통신 권한을 받은 에이전트들은 같은 경계 안에서 특정 자원을 공유할 수도 있습니다. 그 밖의 모든 것, 즉 에이전트가 명시적으로 접근 권한을 부여받지 않은 모든 대상은 여전히 접근 불가능해야 합니다. 에이전트가 자신을 호스팅하는 인프라에 접근하거나, 허용된 경로 밖의 에이전트와 통신하거나, 외부 시스템에 도달할 수 있다면, 그것은 격리의 실패로 간주됩니다.

훈련과 대부분의 평가에서 실시간 인터넷은 이 경계 밖에 놓입니다. 우리는 모델에 실시간 인터넷 접속을 제공하는 것이 상당한 위험을 초래할 수 있다고 believe하기 때문입니다. 인터넷 접속은 모델이 유용한 기술을 배우는 데 도움이 될 수 있지만, 유능하면서도 정렬에서 벗어난 에이전트에게 우리의 통제 밖에 있는 시스템에 영향을 미칠 기회를 주기도 합니다. 따라서 우리는 연구 환경의 보안 구조를 하나의 최우선 원칙을 중심으로 설계했습니다. **우리는 언제나 최전선 모델이 실시간 인터넷에 대해 승인되지 않은 임의의 접근을 얻지 못하도록 막을 수 있어야 합니다.**

**오프라인 세계 구축하기**

모델이 실시간 인터넷에 임의로 접근하는 것을 막고자 하지만, 모델이 웹을 탐색하고, 정보를 검색하고, 웹 애플리케이션을 다루는 방법을 배우는 것도 중요합니다. 실시간 인터넷에 무제한으로 접근하게 하지 않으면서 이러한 기술을 개발할 수 있도록, 우리는 "오프라인 세계"를 구축했습니다. 이는 색인되고 캐시된 방대한 웹 콘텐츠 집합으로, 모델이 외부 시스템에 영향을 줄 위험 없이 상호작용할 수 있습니다. 우리의 모든 최전선 RL 실행은 이 오프라인 방식의 상호작용을 사용합니다.

**다층 방어로 격리 강제하기**

오프라인 환경은 에이전트가 실시간 인터넷에 접속하지 않고도 사용할 수 있는 자원을 제공하지만, 에이전트가 그 환경을 벗어나는 것도 막아야 합니다. 훈련 환경은 에이전트가 접근하거나 수행할 수 있는 것을 제한하지만, 충분히 유능하거나 집요한 에이전트는 그 제한을 우회할 방법을 찾을 수 있습니다. 그들은 체계적으로 환경의 약점을 탐색하고, 그 약점을 악용해 승인받지 않은 행동을 할 수 있습니다. 모델이 이러한 약점을 찾고 악용하는 능력이 향상됨에 따라, 우리는 모델이 개별 통제를 무력화하더라도 격리를 유지할 수 있는 방어 체계가 필요합니다.

우리는 이 과제를 다층 방어로 해결합니다. 서로를 보강하는 여러 겹의 보호 장치가 있습니다. 에이전트가 접근하고 실행할 수 있는 것을 제한하는 샌드박스, 에이전트의 실행 환경을 이를 호스팅하는 컴퓨터로부터 격리하는 경량 가상 머신(microVM), 적시에 개입할 수 있도록 승인되지 않은 활동을 탐지하는 모니터링 시스템, 그리고 앞선 모든 통제가 실패하더라도 격리를 유지하도록 설계된 네트워크 및 클라우드 경계입니다.

코드 실행과 컴퓨터 사용 작업에서 격리는 에이전트가 작업하는 환경에서 시작됩니다. Linux에서는 경량 microVM 내부에서 제한된 컨테이너를 실행합니다. 컨테이너는 microVM 내부의 파일과 프로세스에 대한 접근을 제한하며, microVM은 자체 운영체제 커널을 실행하고 하이퍼바이저에 의해 호스트로부터 격리됩니다. 또한 macOS와 Windows를 위해 가상화된 환경을 사용하며, 가속기가 필요한 작업에는 사용자 공간 샌드박싱이 적용된 GPU 기반 컨테이너를 사용합니다.

주변의 네트워크 및 클라우드 통제는, 에이전트가 샌드박스를 탈출해 호스트를 장악하더라도 격리를 유지하도록 설계되어 있습니다. 이 인프라를 완전히 에어갭(air-gap), 즉 외부 네트워크와 완전히 분리하는 것은 현재 실현 가능하지 않습니다. 실험을 실행하고 모니터링하기 위해서는 외부 연결이 필요하기 때문입니다. 우리는 따라서