涵盖超120家机构的开放安全AI联盟正发布SAFE指南草案并展示合作成果，
开放安全人工智能联盟（Open Secure AI Alliance）的成员已增至120多家机构，随着拉斯维加斯一年一度的黑帽大会（Black Hat conference）今日开幕，他们正在制定新指南以加强代理式人工智能（agentic AI）的网络安全性。Linux基金会分享了一份关于“共享人工智能发现交换平台”（Shared AI Findings Exchange，简称SAFE）的征求意见稿，这是一套旨在将代理式网络安全事件转化为整个生态系统共同防护措施的拟议指南。这些指南由联盟工作组起草，英伟达（NVIDIA）、思科（Cisco）、CrowdStrike、Hugging Face和Red Hat与Linux基金会合作完成了初步提案。SAFE框架提议对人工智能事件和未遂事故进行机密收集与分析，通知受影响方，识别重复出现的控制失效问题，并发布基于证据的操作建议以降低系统性风险。正如公告所述，网络安全是一场没有终点的赛跑，每一次重大的技术变革都会创造新的攻击面。防御者必须以代理速度行动来保护基础设施和知识产权，而最佳策略是通过开放威胁情报共享实现集体防御。
SAFE框架补充了联盟成员更广泛的努力，即构建并共享覆盖整个人工智能安全栈的开放、可检查工具。该帖子强调，人工智能代理不仅仅是一个模型，而是一个包含身份控制、运行环境（harnesses）、护栏（guardrails）、日志和评估在内的完整系统，这意味着安全措施不能仅依赖基本的漏洞扫描。历史经验表明，当社区以快速度公开共享知识时，安全性最强。英伟达在整个技术栈中做出贡献，从GitHub上的NVIDIA Labs面向对象代理研究运行环境（NOOA）开始，简化了代理行为的测试、追踪、审计和治理。其OpenShell运行时限制代理的可见性和操作范围，以在代理层面强制执行安全和隐私控制。英伟达还为其开源模型系列提供开源权重、数据集和训练技术，包括用于代理式人工智能的Nemotron、用于物理人工智能的Cosmos、用于机器人的Isaac GR00T、用于医疗保健和生命科学的BioNeMo，以及Alpamayo——据称是全球最大的获准商业使用的自动驾驶汽车模型。为了将信任延伸至能力层，英伟达提供了经过验证的开源代理技能，这些技能提供可移植的指令集，目录化并扫描提示注入和工具投毒等风险，经密码学签名，并附有技能卡片文档。其他英伟达工具包括用于强制执行安全策略和保护敏感数据的NeMo Guardrails、NeMo Anonymizer和NeMo Safe Synthesizer，以及用于在部署前检查模型的开源LLM漏洞扫描器Garak。
其他联盟成员也在多个层面上推进防御能力。Okta正在开发代理身份和访问的参考实现，展示跨应用访问（Cross App Access）这一开放协议如何使OpenShell沙箱环境中的AI代理能够安全地连接到企业应用程序。Palo Alto Networks贡献了其Idira身份安全平台的开源工具，特别是Agent Guard和Agent Watch，以帮助开发人员应用身份安全最佳实践并安全地检索密钥。Red Hat创立了asago项目，这是一个开源项目，将NIST、OWASP和欧盟《人工智能法案》中引用的组织治理要求直接映射到运行时代理权限，保持从政策条款到实时控制的单一审计轨迹。认识到运行环境作为决定代理部署和约束方式的编排器，几家公司正在向这一新兴层级贡献工具。最近加入联盟的亚马逊贡献了Strands Agents，这是一个开源工具包，提供对代理行为和生产能力评估的全面可见性，以及Cedar，一种强制执行确定性、可验证的代理权限边界的开源授权语言。Capital One开源了VulnHunter用于代理式人工智能代码安全，而Cloudflare则将其漏洞发现运行环境作为开源技能提供。微软AI红队发布了PyRIT用于自动化红队测试，RAMPART用于将发现结果转换为可重复测试，Clarity用于挑战设计假设，以及Assert用于将自然语言需求转换为可执行的评估。Wiz贡献了Atlas，这是一个使用专用AI代理发现缺陷的自主漏洞研究引擎；Visa也加入了联盟，带来了其开源的Visa Vulnerability Agentic Harness，用于问题识别和修复支持。
最后，该帖子强调，专门的安全和安全模型是专为防御而设计的，经过训练以理解代码、定位漏洞并在大规模上推理威胁。思科推出了DefenseClaw，这是一个基于英伟达OpenShell构建的开源代理治理层，用于自动化运行时安全，同时还有两个Antares安全小型语言模型，用于精确定位已知代码库漏洞，以及Project CodeGuard，用于将默认安全的实践嵌入AI编码工作流。CrowdStrike正在针对网络防御微调英伟达Nemotron Nano模型，报告内部测试显示，在Falcon LogScale中生成调查查询的准确率达到96%，从而提高了调查效率，并已发布研究证明专用英伟达模型如何增强这些能力。正如该组织所指出的，“你无法保护你无法识别的东西”，这强调了透明、分层和社区驱动的防御的必要性，随着行业继续在人工智能安全栈方面扩大其开源贡献。