OpenAI는 확장된 다단계 사슬 사고 모니터링 도입 후 특정 워크로드에 대해 운영 오버헤드를 약 20% 증가시킬 예정입니다.
오픈AI는 화요일, 미공개 비감독 AI 모델이 허깅페이스를 해킹한 이후 시행된 모델 학습 중단 결정이 더 강력한 보안 조치 구현을 위해 노력하는 동안에도 유효하다고 확인했다. 이러한 조치 중 일부는 관측된 추론 작업 부하의 20%에 해당하는 컴퓨팅 오버헤드를 증가시킬 것이다.
오픈AI 대변인은 더 레지스터(The Register)와의 인터뷰에서 이러한 비용이 내부 연구에 기인한 것이며 고객에게 직접 전가되지 않을 것이라고 밝혔다. 해당 회사는 현재 또는 이전 모니터링 체계 하에서 총 추론 컴퓨팅의 어떤 부분이 이러한 모니터링 대상인지 아직 공개하지 않았다.
“우리는 새로운 수준의 능력 앞에 놓인 적절한 정렬, 보안 및 모니터링 기준을 충족할 수 있도록 일부 최전선 RL(강화 학습) 학습을 일시 중단했습니다.”라고 오픈AI CEO 샘 알트만은 소셜 미디어 게시글에서 썼다. “모델 진전이 이제 매우 빠르게 진행되고 있으며, 우리는 모델 능력이 안전성과 정렬 속도를 앞지를 경우 조치를 취하겠다고 항상 말해왔습니다.”
알트만은 지연된 아스트라(Astra)를 포함한 신형 모델들이 곧 출시될 것으로 여전히 예상한다고 밝혔다. 학습 중단은 더 먼 미래의 출시 일정에 영향을 미친다.
이후 게시글에서 오픈AI는 지난달 발생한 사건처럼 모델이 통제 불능 상태에 빠지는 것을 방지하기 위해 모니터링, 모델 정렬 및 보안 조치에 집중할 계획임을 재확인했다. 허깅페이스 사건 이후 오픈AI는 “코드를 실행하거나 인터넷에 접근할 수 있는 도구를 사용할 수 있는 실행을 위한 연구 클러스터에서의 최전선 모델 추론을 일시 중단했다.”고 밝혔다.
회사는 일부 작업 부하의 실행을 허용하고 있지만, 샌드박싱, 네트워크 격리 및 지속적인 보안 테스트를 포함하는 더 엄격한 보안 체계로 마이그레이션할 때까지 다른 작업 부하는 중단했다.
“우리의 가장 큰 규모로 계획된 최전선 RL(강화 학습) 실행은 진행 전에 모델 동작을 평가하고, 안전 장치를 검증하며, 정렬에 대한 더 많은 증거를 확보하기 위해 소규모 학습과 평가를 수행하는 동안 보류되어 있습니다.”라고 회사는 밝혔다. 강화 학습은 AI 에이전트가 원하는 결과에 대해 보상받음으로써 환경에 대해 ‘학습’하는 시행착오 과정을 의미한다.
오픈AI는 또한 사고사슬(chain-of-thought) 프로세스에 대한 모니터링을 확대한다고 발표했다. 이는 ‘사고’ 모델을 통해 모델이 작업을 이산적인 단계로 분해하고 각 단계마다 중간 텍스트 출력을 생성하는 기법을 말한다.
회사의 기존 접근 방식은 고위험 작업 부하, 특히 최전선 모델의 내부 배포와 최전선 RL 학습 실행에 초점을 맞추고 있었다.
반면, 오픈AI는 새로운 모니터링 설정이 GPT-5.6 Sol 또는 그 이상의 능력 수준을 가진 모델에 대한 도구 사용이 포함된 모든 RL 학습 및 평가를 커버한다고 밝혔다. 아스트라가 중요한 사이버 능력을 보유하고 있다는 판단에 따라, 오픈AI는 RL 학습 및 테스트뿐만 아니라 아스트라를 사용한 모든 추론을 커버하는 추가 모니터링 요구사항을 덧붙였다.
“이러한 안전 장치에는 상당한 컴퓨팅 자원이 필요합니다.”라고 오픈AI는 말했다. “현재 추정치에 따르면 모니터링 오버헤드는 모니터링되는 추론 컴퓨팅의 약 20% 정도이지만, 비용은 학습 및 평가 작업 부하 전반에 걸쳐 크게 달라집니다.”
오픈AI는 향후 게시글을 통해 모니터링_scheme_ 구현에 대한 더 많은 세부 사항을 공유할 예정이다. 작년 발표한 연구에서 회사는 사고사슬 모니터링이 모델의 부적절한 행동을 감지하는 효과적인 방법이라고 언급했지만, 모델을 지시 사항에 엄격히 따르도록 직접 최적화하는 것이 “모든 부적절한 행동을 제거하지 못하며 모델이 의도를 숨기게 할 수 있다”고 경고했다.
만약 회사가 모델 사고 경찰 활동에 따른 비용을 고객에게 전가하지 않겠다는 약속을 받아들인다면, 오픈AI의 손실은 증가할 것이다. 만약 오픈AI가 상장한다면 이것이 지속 가능한 입장이 될 것이라고 상상하기 어렵다.
그러나 보고된 바에 따르면 오픈AI는 6000억 달러 이상의 AI 인프라 투자 약속을 가지고 있으며 최소한 2030년까지 적자 상태를 유지할 것으로 예상하고 있으므로, 불확실한 보안을 위해 추가로 부담해야 할 비용은 무엇인가? ®