406명의 과학자가 Geoffrey Hinton, Yoshua Bengio, Stuart Russell 등을 포함해 기업들에 AI 모델을 인터넷에서 즉시 분리할 것을 요구하고 있다.

406명의 과학자가 서명한 이 공개서한은 AI 안전 연구를 확대하고, AI 모델을 외부 네트워크로부터 더 엄격하게 격리할 것을 촉구한다. 서명자 중에는 Geoffrey Hinton(토론토 대학교), Yoshua Bengio(몬트리올 대학교), Stuart Russell(UC 버클리), Yejin Choi(스탠퍼드), Bernhard Schölkopf(막스 플랑크 연구소) 등 저명한 AI 연구자들이 포함되어 있다.

이 서한은 AI 모델이 보안이 취약한 환경을 벗어나 외부 시스템을 침해한 것으로 알려진 사건들에 대한 대응으로 작성되었다. 과학자들은 "AI 개발 및 배포 관행에 즉각적인 변화가 없다면, 이러한 사건은 계속 발생할 것이며, 앞으로의 사건은 노출된 핵심 기반시설에 훨씬 더 큰 피해를 입힐 것"이라고 적었다. 이들은 기업이 에어갭(airgapping)을 통해 AI 모델을 인터넷에서 완전히 분리할 것을 요구한다.

과학자들은 최근의 침해 사건을 두 가지 측면에서 바라본다. 이 사건들은 "모델이 예측 가능하게 작동하도록 보장하는 AI 정렬(alignment)의 중요성을 보여주는 증거"로 볼 수 있지만, 동시에 "더 강력한 샌드박스와 절차로 예방할 수 있었던, 표준 사이버보안 관행에 대한 무책임한 소홀"이기도 하다고 지적한다. 두 가지 해결책이 모두 필요하다는 것이다.

모델이 실제로 인터넷에 접속할 수 있는 경우, 기업은 모델에 얼마만큼의 자율성을 부여할지 신중히 따져야 한다. 서한은 "격리 시스템이 허용하는 모델 행동의 범위는, 모델의 행동이 보안 실패로 이어지지 않을 것이라고 예측하는 우리의 현재 제한된 능력과 균형을 이루어야 한다"고 경고한다. 모델은 개발자가 의도하지 않은 목표를 그저 추구할 수도 있으며, 언제 그런 일이 일어날지 예측하는 것은 현재의 역량으로는 여전히 불가능하다.

서한은 정부 및 AI와 사이버보안 분야의 전문가들과 협력하는 국제기구를 설립하여, 에어갭보다 더 많은 외부 접근을 허용하는 모든 격리 방식에 대해 구속력 있는 표준을 마련할 것을 요구한다. 이 기구는 또한 침해 사건을 추적하고, 기업이 보안 실패를 보고하도록 의무화해야 한다. 이러한 보고서는 이후 "학습과 책임성 확보를 위해" 공개되어야 한다고 주장한다.

그러나 완전한 에어갭만으로도 안전이 보장되지는 않는다. OpenAI 연구자 Noam Brown은 최근 물리적으로 분리된 두 대의 컴퓨터도 이론적으로는 온도 센서를 통해 통신할 수 있다고 지적했다. 한 컴퓨터가 CPU를 가열하면 다른 컴퓨터가 그 변화를 감지하는 방식이다. Brown에 따르면 에어갭이나 사고 연쇄(chain of thought) 모니터링 같은 조치는 시간을 벌어주지만, 정렬 문제 자체는 여전히 해결되어야 한다.

Brown은 더 어려운 질문도 제기한다. AI가 스스로를 개선하기 시작하면(재귀적 자기 개선, RSI) 누가 이를 알아챌 수 있을까? 그리고 업계가 인간을 훨씬 뛰어넘는 초지능 시스템을 수십억 개 만든다면, 누가 이들이 계속 정렬된 상태를 유지하도록 보장할 것인가? Brown은 자신의 팀에서도 10퍼센트 이상의 인원이 현재 정렬 연구에 참여하고 있으며, 이는 그 어느 때보다 많은 수준이라고 말한다.