NVIDIA와 100개 이상의 파트너가 Open Secure AI Alliance를 출범하여 오픈 AI 모델, 프레임워크 및 도구를 개발하기 위해
오픈 소스 소프트웨어는 클라우드 컴퓨팅, 금융 서비스, 제조업, 통신, 정부 및 인터넷 서비스를 포함한 전 세계의 핵심 인프라를 뒷받침합니다. 사이버보안은 오픈 소스의 주요 수혜 분야 중 하나이며, 세상이 AI 기반 방어로 나아가면서 미국과 그 파트너들은 근본적인 선택에 직면해 있습니다. 즉, 핵심 인프라를 보호하는 시스템이 독점 플랫폼 내부에 잠겨 있을지, 아니면 방어자들이 연구하고 적응하며 배포할 수 있는 오픈 모델, 하네스(harnesses), 도구를 기반으로 구축될지 여부입니다.
세계가 폐쇄형과 개방형 모델 모두를 필요로 하지만, 개방형 모델은 사이버보안에서 필수적입니다. 이는 방어 능력을 민주화하고, 방어자에게 투명성을 높이며, 데이터 보호를 유지하면서 사이버 방어를 가능하게 하며, 최전선의 폐쇄형 모델을 보완하는 사용자 정의 가능하고 지역화된 제어를 제공하기 때문입니다. 오픈 소스는 단일 장애점이 없는 대규모 분산형 커뮤니티 기반 방어를 가능하게 합니다. 개방형 모델은 강력한 기술이라면 누구나 그렇듯 오용 위험을 내포하고 있지만, 이러한 위험은 개방형 시스템에만 고유한 것이 아니며 고급 AI가 도입되는 모든 곳에서 관리되어야 합니다.
최근 Hugging Face 보안 사고는 이 원칙을 잘 보여줍니다. 회사의 폐쇄형 AI 도구가 공격자와 방어자를 구분하지 못해 필수적인 포렌식 분석을 차단했을 때, Hugging Face는 자체 인프라에서 오픈 웨이트 GLM 5.2 모델을 배포하여 17,000개 이상의 작업을 분석하고 침입을 봉쇄했습니다. 이 사고는 중요한 진실을 입증했습니다. 방어자가 자신의 인프라에서 고급 AI를 검사하고, 적응하고, 실행할 수 없을 때, 그들의 대응 능력은 속도가 가장 중요한 순간에 제약된다는 것입니다.
Open Secure AI Alliance는 NVIDIA, Adobe, Amdocs, AHEAD, Aible, Akamai, Amazon, Anyscale, Arcade Dev, Arteris, Atlassian, Box, Cadence, Canonical, Capital One, Check Point, Checkmarx, Cisco, ClickHouse, Cloudera, Cloudflare, Cloudsmith, Cognition, Cohere, Cohesity, ControlPlane, Commvault, CrowdStrike, Crusoe, Cyberhaven, Databricks, Datadog, Dataiku, DDN, Dell Technologies, DepthFirst AI, Docker, DoorDash, Dream Security, Echo, Elastic, EleutherAI, Endor Labs, Exaforce, F5, Factory AI, Fireworks AI, Fortanix, Fortinet, G42, Genspark, GitHub, Glean, H2O.ai, HPE, Hugging Face, IBM, Infoblox, Infosys, Intel, JFrog, Kindo AI, Kong, Kyndryl, LangChain, Ledger, Lenovo, the Linux Foundation, Microsoft, Mirantis, Mistral, Mozilla, NAVER, NEAR AI, NetApp, Netskope, Nokia, Nous Research, NTT, Nutanix, Okta, OpenClaw, OpenHands, Palantir, Palo Alto Networks, Perplexity, Pinterest, Poolside, Red Hat, Reflection AI, Replit, Rubrik, Salesforce, Samsung Electronics, SAP, SentinelOne, ServiceNow, Siemens, SK Telecom, Snowflake, Snyk, Sonar, SpaceXAI, Spectro Cloud, SUSE, Synopsys, Thales, Thinking Machines Lab, TrendAI, Uber, Upwind, UiPath, Veeam, Visa, vLLM, VMware by Broadcom, VotalAI, Wiz, Workday, World Wide Technology, Zenity 및 Zscaler를 포함한 클라우드 컴퓨팅, 사이버보안, 엔터프라이즈 소프트웨어, 오픈 소스 재단 및 AI 연구 분야의 100명 이상의 리더들을 모았습니다.
일부 사람들은 개방형 모델이 사이버공격에 오용되거나 가드레일이 제거하도록 수정될 수 있기 때문에 본질적으로 안전하지 않다고 주장합니다. 이러한 위험이 현실이지만, 폐쇄형 시스템에서도 사라지지 않으며 모델 가중치를 폐쇄한다고 해서 결단력 있는 공격자가 강력한 AI에 접근하거나 악용하는 것을 방지할 수 없습니다. 적절한 대응책은 개방성과 강력한 안전 장치, 악의적 오용에 대한 명확한 규칙, 엄격한 평가 및 신속한 조치를 결합하는 것입니다. 사이버보안에서 더 안전한 길은 더 많은 방어자가 핵심 시스템을 테스트, 검증 및 강화할 수 있는 능력을 갖도록 하는 것입니다.
AI 에이전트는 단순히 언어 모델이 아니라 모델, 하네스 및 가드레일로 구성된 복잡한 시스템입니다. 진정한 AI 안전성은 가중치가 개방형인지 폐쇄형인지 여부가 아닌, 신원, 권한, 하네스, 가드레일, 로그 및 평가를 포함한 전체 에이전트 스택에 달려 있습니다. 개방형 하네스와 도구는 방어자가 이러한 제어를 쉽게 검사, 테스트 및 개선할 수 있도록 합니다.
NVIDIA는 Alliance에 오픈 모델, 모델 가중치, 데이터 및 에이전트 하네스 연구를 기여하고 있습니다. 새로운 NVIDIA Labs Object-Oriented Agent 프레임워크는 GitHub에서 사용할 수 있으며, 이를 통해 에이전트 하네스에 고급 AI 안전 기능을 더 쉽게 접근할 수 있게 하여 하네스와 모델 간의 통합을 개선하고 에이전트 행동을 더 쉽게 테스트, 추적, 감사 및 거버넌스할 수 있도록 합니다. Alliance의 기여자들은 신원, 격리, 안전한 모델 형식, 다중 모델 스캔 및 보안 코딩 워크플로우를 아우르는 에이전트를 위한 오픈 디펜스 스택을 구축하고 있습니다.
HPE는 AI 에이전트와 서비스를 암호학적으로 검증하는 제로 트러스트 신원 프레임워크를 위한 SPIFFE 및 SPIRE 표준을 기여합니다. Hugging Face는 PyTorch Foundation에 Safetensors를 제공했는데, 이는 모델 가중치를 저장하기 위한 안전한 형식으로 투명성을 제공하고 원격 코드 실행이 없음을 보장합니다. IBM과 Red Hat의 Lightwell은 디지털 서명된 패치를 통해 오픈 소스 공급망 전반에 보안을 확장합니다. Microsoft의 MDASH 다중 모델 에이전틱 스캔 하네스는 특수화된 AI 에이전트를 조정하여 취약점을 발견, 토론 및 증명합니다. SpaceXAI는 Grok Build 터미널 기반 AI 코딩 에이전트를 오픈 소스로 공개했으며, 개발자 및 연구 커뮤니티를 지원하기 위해 모델 라인의 가중치를 오픈 소스로 제공할 계획입니다.
정책 입안자와 규제 기관들이 AI 안전성에 대응할 때, 개방형 모델, 하네스 및 보안 도구화를 AI 정책에서 부담이 아닌 방어 자산으로 인식해야 합니다. 개방형 프론티어 AI 시스템에 대한 포괄적인 제한은 방어 능력을 약화시키고 권력과 의존도를 몇몇 폐쇄형 공급업체에 집중시킬 것입니다. 기업과 정부는 과거 세대가 오픈 소스 소프트웨어 자체에 투자했던 것처럼, 데이터셋, 평가 프레임워크, 공격 시뮬레이터 및 레드 팀링 도구를 포함한 AI 방어를 위한 공유 오픈 인프라에 투자해야 합니다.