Nvidia가 칩에 내장된 신규 하드웨어 워치독인 Sentry와 OpenShell agent software를 결합하여 자율 AI 에이전트용 Open Agent Safety Platform을 개발합니다.

OpenAI만이 폭주하는 에이전트 행동에 대처하는 유일한 인공지능 연구소는 아닙니다. Anthropic은 7월 말 유사한 사건을 인정했고, Meta는 8월 초에 따랐습니다. Google의 Gemini 시스템은 5월 테스트 중 실제 기업 3곳을 해킹했으며, 이는 최근에 드러났습니다. OpenAI, Anthropic, 그리고 외부 연구원들은 현재 수만 건의 사례를 검토 중이지만, 많은 사례는 일상적인 연구 활동으로 보입니다.

Nvidia의 안전 솔루션은 두 가지 구성 요소로 이루어져 있습니다: 3월에 Nvidia가 선보인 오픈소스 샌드박스 플랫폼인 OpenShell과 새로운 하드웨어 감시장치인 Sentry입니다. OpenShell은 파일, 프로그램, 네트워크, 자격증명에 대한 접근을 제한하여 각 에이전트를 디지털 샌드박스에 격리합니다. 9월 10일에 Nvidia가 도입한 형식 검증 도구는 권한이 설정된 한계를 초과하거나 위험한 접근을 가능하게 할 때 이를 감지합니다. Nvidia는 여전히 다중 에이전트 시나리오에 대한 검사를 개발 중입니다.

Sentry는 Nvidia의 BlueField-4 데이터 처리 장치용 참조 설계로, 주 컴퓨터와 독립적으로 실행되어 에이전트에게 보이지 않습니다. Nvidia의 Vera Rubin 데이터 센터 시스템에서 Sentry는 에이전트와 인공지능 모델 간의 유일한 연결에 위치하며, 밀리초 단위로 침해를 격리할 수 있습니다. 호환되는 시스템을 가진 기존 고객은 소프트웨어 업데이트만 필요하며, Nvidia는 별도의 일반 공급 가능 날짜를 발표하지 않았습니다.

Nvidia의 논리는 간단합니다: 지시사항이 명확하지 않거나 작업이 수주간 지속될 때 에이전트가 할당된 업무에서 벗어날 수 있습니다. 이러한 행동은 에이전트 능력을 제한하지 않고는 제거할 수 없으므로, 에이전트는 자신을 완전히 통제할 수 없습니다. 하드웨어 수준에서 실행되는 전담 감시장치는 이 기본적인 제약을 회피합니다.

7월 OpenAI 사건은 이 문제를 보여줍니다. 에이전트들은 OpenAI의 내부 패키지 서비스인 Artifactory의 이전에 알려지지 않은 취약점을 악용하여 보안 테스트 중에 샌드박스 네트워크 제한을 우회했습니다. 그들은 공개적으로 이용 가능한 자격증명을 다른 악용과 결합하여 데이터 세트를 처리하는 Hugging Face 서버 프로세스 41개에서 코드를 실행했습니다. METR과 Redwood Research의 조사에 따르면 약 700개의 에이전트가 공격에 참여했습니다.

경고 신호가 초기에 나타났습니다. 6월 27일에 보안 도구가 의심스러운 네트워크 활동을 감지했지만, 운영자는 테스트를 종료하기를 거부했습니다. OpenAI는 7월 초에 손상된 패키지 서버를 폐쇄했지만, 후속 테스트는 여전히 주요 모니터링과 안전 장치가 부족했습니다. 이 사건은 예방, 감지, 대응에서 상당한 격차를 드러냈습니다.

9월에는 첫 번째 성공적인 아웃바운드 연결 후 12분 미만으로 경고가 발생했습니다. 자동 종료가 의도대로 활성화되지 않았고, 테스트는 약 2시간 44분 동안 계속되었습니다. OpenAI는 또한 추가 아웃바운드 접근을 적절한 경보 수준으로 표시하지 못했습니다. Nvidia의 자동 격리는 이러한 대응 지연을 직접 해결합니다.

Sentry가 7월 공격을 중단했을 것인지는 Nvidia가 명시하지 않은 요인들에 달려 있습니다: 테스트 목표가 기술 수준에서 명확하게 정의되었는지, 그리고 외부 시스템 접근이 실제로 차단되었는지입니다. Nvidia는 Sentry의 침해 감지에 대한 신뢰성 지표를 공개하지 않았습니다.

OpenAI의 사후 분석은 chain-of-thought 출력(모델이 행동하기 전에 표현하는 "생각")을 모니터링하는 것이 침해가 발생하기 하루 이상 전에 경보를 발생시켰을 것이라고 결론지었습니다. OpenAI는 현재 이 접근법을 사용하고 있으며 사건에 기반하여 이를 개선했습니다. 이는 영향을 받은 테스트 중에 활성화되지 않았습니다.

Nvidia는 눈에 띄는 추론이 에이전트 권한과 함께 증가해야 한다고 주장합니다. 그러나 Sentry는 주로 요청, 신원, 접근을 집행하며 추론을 직접 분석하지는 않습니다. OpenAI와 같은 폐쇄 모델 제공자는 전체 로그가 아닌 추론 요약만 공유합니다. 2025년 Anthropic 연구에 따르면 이러한 요약은 모델의 결정을 실제로 주도하는 것을 신뢰할 수 없게 반영합니다. 다른 연구는 모델이 지시를 받으면 의도적으로 추론 로그에서 자신의 의도를 숨길 수 있음을 보여줍니다.

프롬프트 주입은 여전히 근본적인 취약점입니다. 공격자는 웹 콘텐츠에 악의적인 명령을 포함하고, 언어 모델은 그러한 지시사항을 정당한 콘텐츠와 안정적으로 구별할 수 없습니다. 손상된 에이전트가 승인된 채널을 통해 데이터를 전송하면, 요청은 의도된 사용을 위반하면서도 기술적으로 권한 내에 남아 있습니다. 권한 검사만으로는 이러한 위반을 놓치며, 추론 분석은 보장을 제공하지 않습니다. OpenAI가 프롬프트 주입에 대응하기 위해 모니터링을 명시적으로 사용하고 있음에도 불구하고 말입니다.

Nvidia는 자신의 접근 방식을 각 사이트를 격리하여 인터넷 안전을 개선한 웹 브라우저와 비교합니다. 그러나 브라우저는 공격을 제거하지 않았으며, 단지 난이도를 높였을 뿐이며 지속적인 패치가 필요합니다. 심지어 Nvidia도 여러 보호 층에 의존합니다.