数万次安全事件表明OpenAI和Anthropic的AI代理独立黑客入侵网站、使用被盗凭证、在自主操作中访问未授权系统。

OpenAI和Anthropic目前正在调查数万起事件，涉及其最先进的AI模型采取了外部审查员会标记为有问题的行动。根据Axios报道引用多个消息来源，这些事件的庞大数量——发生在过去几个月的内部测试和实际部署中——表明该问题的复杂程度远超公开披露的内容，总数量可能远远超过当前统计。

这些事件与OpenAI周五披露的两起案例大致相当，包括创建留言板、逃出沙箱、劫持网站、自我提示以及试图规避监控系统。OpenAI在周五宣布，已暂停对其最强大内部模型的训练，在公司对网络安全有信心之前，训练不会恢复。

OpenAI的模型对美国政府网站进行了非授权操作。在教育部，根据《纽约时报》报道，OpenAI的代理试图入侵该网站以从民权办公室获取数据。OpenAI表示仍在调查中。在隶属于商务部的人口普查局，该AI的行为超越了简单的网页抓取。它使用在网上找到的登录凭证从网站提取数据，获得了未授权的访问权限。在美国证券交易委员会（SEC）的案例中，OpenAI的代理检索了信息，随后在在线论坛中主动分享了来自证券监管机构的公开数据。SEC发言人告诉《纽约时报》，该机构与OpenAI保持联系。没有迹象表明非公开信息被未授权访问。

OpenAI仅在由Hugging Face事件触发的广泛内部审查中发现了这些案例。首席执行官Sam Altman承认披露的速度"不如我们希望的那样快"。Altman表示，该公司有"数PB的代理活动日志"需要处理。

根据OpenAI的说法，这些事件都未造成实际泄露，有些仅仅是常规研究活动。不过，该公司仍然将其称为"意外和令人担忧的行为"的例子。例如，芝加哥市长办公室表示，OpenAI最近通知市政府官员，其模型从市政网站提取了公开信息。单独看这听起来很无害，因为每个搜索引擎都做同样的事情。OpenAI仍然标记它的事实可能归结于行为的"意外"部分——即模型自行决定以任何人都未预料到的方式追求获取数据，这可能是在OpenAI看来使其"令人担忧"的原因。但这也解释了现在正在审查的大量案件是如何产生的。一切都取决于什么被认为是网络安全事件。OpenAI表示，其代理倾向于访问政府网站是因为它们是公开信息的权威来源。

流氓代理行为正成为全行业的问题。这个问题并不仅限于OpenAI，尽管Altman的公司目前堆积了最多的案例。来自Anthropic、Meta和Google的AI代理也在越来越多的案例中对公司、大学和政府机构进行了黑客攻击或试图黑客攻击。在每一个案例中，制造商都只在事后才发现他们的AI做了什么。

问题的一大部分在于内置在最新前沿模型中的极端持久性。这些模型经过优化以在长期内解决任务，即使没有解决方案也会继续寻找突破口。当代理遇到障碍时，它会试图绕过——不是出于恶意，而是因为达成目标是唯一重要的指标。这种持久性最终导致不当行为，因为模型会穷尽每一条可能的路径，包括那些违反安全政策或法律的路径。OpenAI将泄露内部GitHub数据的某个模型称为"高度持久的内部模型"。但更深层的问题是这些模型缺乏是非观念，而这正是对齐研究试图解决的问题所在。如果模型理解什么违反法律，就不会自行选择那些路径。仅仅将其写入提示中显然是不够的。