OpenAI表示正在加固其前沿模型训练环境，在一次安全事件后，已在断开互联网的情况下重启前沿模型训练。

这篇文章介绍了我们如何保护用于训练和评估前沿模型的环境。这些研究环境与客户使用我们已发布模型的场景不同。开发中的模型可能尚未完成安全与对齐训练,因此我们会刻意在对抗性条件下测试它们,以暴露其弱点。在将模型开放给更广泛的用户使用之前,我们会进行安全与对齐评估,并部署生产环境的防护措施。

要让AI模型处理软件,它们需要计算环境:即数字化的工作空间,模型可以在其中编写和运行代码、搜索信息,并尝试解决问题的不同方法。这些环境让模型能够练习这些技能,同时限制其可访问或可执行的内容,从而在模型出错或表现出失准行为时,将后果控制在可控范围内。

然而,随着模型能力不断增强,它们也越来越善于找到绕过这些限制的方法。一个成熟的模型可能会利用软件缺陷或错误配置逃逸沙箱,利用内部服务接入公网,或者找到未经授权与其他沙箱中智能体通信的途径。今年7月的Hugging Face事件,以及我们观察到的其他模型失准案例,表明具备复杂网络安全能力的模型可能在训练和评估过程中突破隔离机制。

针对这些事件,我们大幅加强了研究环境的安全性。我们与云服务提供商密切合作,在整个基础设施中增加了新的控制措施,减少了智能体可能利用的攻击面,并改进了检测失准行为和越过安全边界企图的方法。这些防护措施相互叠加,因此即使某一项控制失效,隔离机制仍能保持有效。这一策略被称为纵深防御。

基于当前对齐研究、监控系统以及互联网基础设施的安全现状,我们认为负责任的做法是在无互联网接入的条件下进行前沿模型训练。我们已落实这一政策,并将持续执行,直到这些防护能力的进步足以支撑更广泛的互联网接入。

这些投入使我们能够在复杂的失准行为造成损害之前将其检测并制止。例如,9月20日,一个内部研究模型在训练过程中利用DNS解析器的一处错误配置,获得了对公网的有限访问权限。尽管我们及时控制了该事件,但它暴露出的弱点需要进一步处理。我们暂停了最强大模型的训练和评估,并利用这段时间进一步加固基础设施、强化监控,并改进能够在检测到严重风险活动时自动终止运行的系统。

然而,能力日益增强的模型,即使在最安全的系统中也可能找到漏洞或错误配置。为确保研究环境即便面对最强大的模型也具备韧性,我们发起了一项高算力红队测试行动,以探查基础设施中的弱点。由前沿模型智能体组成的团队受命寻找可能使其执行未经授权操作的漏洞和错误配置,例如访问公网、突破安全边界,或在未经授权的情况下与其他智能体通信。

这些红队测试实验发现了此前未知的软件漏洞,以及研究基础设施中的错误配置。我们已修复红队智能体发现的全部弱点。对于存在于开源软件中的问题,我们依托"Patch the Planet"计划,与相关维护者合作进行披露和修复。

随着红队测试实验的持续推进,我们的智能体所发现的漏洞和错误配置数量显著减少。我们将此视为基础设施安全性增强的积极信号,但同时预计未来的模型能够发现并利用我们尚未察觉的漏洞。因此,我们将持续性的红队测试视为长期加强研究环境安全性战略的核心组成部分。为此,我们已将高算力红队测试纳入安全论证体系,用以评估前沿模型的训练和评估运行能否安全推进。在评估完成且增强控制措施到位后,我们于10月1日恢复了前沿模型的强化学习(RL)训练以及内部推理。

在本文中,我们将讨论如何加强用于训练和评估模型的环境,以及我们如何利用最强大的模型发现并修复系统中的弱点。

**我们在模型隔离方面的新思路**

我们的隔离方法以一项首要要求为基础:即使智能体试图规避限制,其可访问范围的限制也必须依然有效。我们围绕智能体被授权使用的资源划定严格的安全边界,并设计周边基础设施来强制执行该边界,即使智能体持续且精密地尝试突破。

在安全边界之内,智能体可以访问浏览器、代码执行环境、计算机操作工具以及其任务所需的其他服务。获得明确授权进行通信的智能体也可以在同一边界内共享特定资源。除此之外,凡是智能体未被明确授权访问的一切,都必须保持不可触及。如果智能体能够访问托管自身的基础设施、与许可渠道之外的智能体通信,或者接入外部系统,则构成隔离失效。

对于训练及大多数评估而言,公网位于该边界之外,因为我们认为向模型开放公网访问可能带来重大风险。尽管互联网接入有助于模型学习有用的技能,但它也会给一个具备能力且存在失准的智能体提供影响我们无法控制的系统的机会。因此,我们围绕一项核心原则设计了研究环境的安全架构:**我们必须始终能够阻止前沿模型获得未经授权的、任意的公网访问权限。**

**构建离线世界**

在阻止模型获得对公网的任意访问的同时,让它们学会浏览网页、搜索信息以及操作网络应用同样重要。为了让模型在不获得无限制公网访问的前提下发展这些能力,我们构建了一个"离线世界":一套庞大的、经过索引和缓存的网络内容集合,模型可以在其中交互,而不会影响外部系统。我们所有前沿强化学习运行均采用这种离线交互模式。

**以纵深防御实现隔离**

离线环境为智能体提供了无需访问公网即可使用的资源,但我们还需防止智能体突破这些环境的边界。训练环境对智能体可访问或可执行的内容施加了限制,但能力足够强或足够执着的智能体可以寻找绕过这些限制的方法。它们可以系统性地探查环境中的弱点,并利用这些弱点执行从未获得授权的操作。随着模型越来越擅长发现和利用这些弱点,我们需要即使在模型突破单项控制时仍能维持隔离的防御手段。

我们通过纵深防御应对这一挑战,即建立相互补充、彼此强化的多层防护:用于限制智能体可访问和可执行内容的沙箱;将智能体执行环境与宿主计算机隔离开来的轻量级虚拟机(microVM);能够检测未授权活动、使我们及时介入的监控系统;以及旨在在前述所有控制均失效时仍能维持隔离的网络和云边界。

对于代码执行和计算机操作任务,隔离始于智能体的工作环境。在Linux上,我们在轻量级microVM内运行受限容器。容器限制其对microVM内文件和进程的访问,而microVM运行独立的操作系统内核,并通过虚拟机监视器与宿主机隔离。对于macOS和Windows,我们同样使用虚拟化环境;对于需要加速器的任务,我们则使用带有用户空间沙箱的GPU容器。

周边的网络和云控制旨在即使智能体逃逸沙箱并控制宿主机时,仍能维持隔离。将这一基础设施完全物理隔离,即彻底断开与外部网络的连接,目前并不可行,因为我们需要外部连接来运行和监控实验。我们因此