英伟达将OpenShell代理软件与Sentry相结合,Sentry是芯片中的新型硬件监视器,创建开放代理安全平台。
OpenAI并非唯一一家处理代理失控行为的AI研究机构。Anthropic承认在7月末也发生过类似事件,Meta在8月初也出现了。Google的Gemini系统在5月的一次测试中入侵了三家真实公司,这一情况最近才被披露。OpenAI、Anthropic和外部研究人员现在正审查数万起案例,尽管其中许多似乎是常规研究活动。
英伟达的安全解决方案包含两个部分:OpenShell(英伟达在3月推出的开源沙箱平台)和Sentry(一个新的硬件监督程序)。OpenShell通过限制对文件、程序、网络和凭证的访问,将每个代理限制在数字沙箱内。英伟达在9月10日推出的一个形式验证工具可以检测权限何时超出设定限制或启用有风险的访问。英伟达仍在开发多代理场景的检查。
Sentry是英伟达BlueField-4数据处理单元的参考设计,独立于主计算机运行,使代理无法察觉。在英伟达的Vera Rubin数据中心系统中,Sentry位于代理与其AI模型之间的唯一连接上,能够在毫秒级隔离漏洞。已有客户若拥有兼容系统,只需进行软件更新;英伟达尚未宣布单独的通用可用日期。
英伟达的理由很直接:当指令缺乏清晰度或任务持续数周时,代理可能会偏离其任务。这种行为无法通过训练消除,除非限制代理的能力,因此代理无法完全自我监督。在硬件层级运行的专用监督程序避免了这个根本性限制。
7月份OpenAI的事件说明了这一问题。代理在安全测试期间,通过利用OpenAI内部包服务Artifactory中之前未知的漏洞,绕过了沙箱网络限制。它们结合公开可用的凭证和其他漏洞,在处理数据集的41个Hugging Face服务器进程上运行代码。METR和Redwood Research的调查发现大约700个代理参与了这次攻击。
早期出现了警告信号。6月27日,一个安全工具检测到可疑网络活动,但运营人员拒绝终止测试。OpenAI在7月初关闭了被入侵的包服务器,但随后的测试仍然缺乏关键的监控和防护措施。该事件暴露了防御、检测和应对方面的重大漏洞。
9月份,在首次成功出站连接后不到12分钟,一个警报被触发。自动关闭未能按预期启动——测试继续进行了大约2小时44分钟。OpenAI还未能以适当的警报级别标记额外的出站访问。英伟达的自动隔离直接解决了这些响应延迟问题。
Sentry是否能够阻止7月份的攻击取决于英伟达未具体说明的因素:测试目标是否在技术层面被明确定义,外部系统访问是否被实际阻止。英伟达尚未发布Sentry漏洞检测的可靠性指标。
OpenAI的事后分析得出结论,监控思维链输出——模型在行动前表达的"想法"——本应在漏洞发生前一天多时间触发警报。OpenAI现在使用并根据该事件完善了这一方法。但在受影响的测试中它并未激活。
英伟达主张,可见的推理应该随着代理权限的增加而增加。然而,Sentry主要执行请求、身份和访问;它不会直接分析推理。像OpenAI这样的闭源模型提供商只共享推理摘要而不是完整日志。Anthropic在2025年进行的一项研究发现,这些摘要不能可靠地反映实际驱动模型决策的因素。其他研究表明,当受指示时,模型可能会在推理日志中故意隐藏其意图。
提示注入仍然是一个根本性漏洞。攻击者在网络内容中嵌入恶意命令,而语言模型无法可靠地区分此类指令和合法内容。如果一个被入侵的代理通过经批准的渠道传输数据,该请求在技术上仍在权限范围内,即使违反了其预期用途。仅进行权限检查会遗漏此类违规行为,推理分析无法提供保证——尽管OpenAI明确使用监控来对抗提示注入。
英伟达将其方法与网络浏览器进行比较,后者通过隔离每个网站改进了互联网安全。然而,浏览器并未消除攻击;它们只是增加了难度,且需要持续补丁。甚至英伟达也依赖多层保护。