应对AI代理安全威胁：NVIDIA等科技巨头联合推出SAFE网络安全透明度指南

type

status

date

slug

summary

事实梳理：SAFE指南与开放生态的建立

由Linux基金会牵头发布的《共享AI发现交流（SAFE）》（Shared AI Findings Exchange）意见征询稿，是此次大会的核心焦点。该指南由NVIDIA、思科、CrowdStrike、Hugging Face和红帽等业界领军企业共同组成的联盟工作组起草。

SAFE的核心目标是建立一个透明且安全的机制，以保密方式收集和分析AI安全事件及“险些发生”的系统险情。通过及时通知受影响方、识别反复出现的控制失效节点，并发布基于证据的操作建议，SAFE框架试图将单点爆发的AI安全事件转化为整个生态系统的共享保护盾。

除了政策层面的指南，NVIDIA等公司还贡献了大量的底层开源软件和模型。例如，NVIDIA在平台上开源了NOOA（面向对象代理）研究线束，使代理行为的测试和审计更加便捷；同时推出了OpenShell运行时环境，通过沙盒机制严格限制AI代理的可见和可操作范围。此外，NVIDIA针对代理AI、物理AI、医疗等领域的一系列开源权重模型，以及Garak大模型漏洞扫描器，共同构筑了坚实的底层基础设施。

影响与应用：覆盖AI堆栈的全景开源防御工具

此次联盟成员的贡献不仅停留在理论层面，而是覆盖了AI安全堆栈的每一个关键层级。企业和开发者可以利用这些工具，重塑自身的AI业务流安全：

身份与权限管控：在AI代理系统中，“谁能执行什么操作”至关重要。Okta正在开发跨应用访问（XAA）协议的参考实现；Palo Alto Networks贡献了Agent Guard等工具帮助开发者安全调用凭据；红帽则推出了asago项目，能够将不同地区的合规要求直接映射为运行时的代理权限控制，并生成单一审计轨迹。

线束与编排保护：代理系统的“躯干”同样需要保护。新加入联盟的亚马逊开源了Strands Agents工具包和Cedar授权语言，实现了细粒度的访问控制；微软AI红蓝对抗团队贡献了自动化测试工具PyRIT，以及将自然语言安全需求转化为可执行评估的Assert工具；云原生安全公司Wiz则推出了自动化漏洞研究引擎Atlas。

专属安全模型与可观测性追踪：并非所有安全任务都适合通用大模型。Mistral最新发布了多模态安全分类模型Shieldstral；思科推出了基于OpenShell的治理层DefenseClaw。在行为追踪方面，Uber开源了代理AI检测与响应（ADR）系统的核心组件，能够重建AI代理从提示词到工具调用、再到输出结果的完整因果链，极大提升了安全团队的排查效率。

风险与限制：代理化AI的安全防线依然脆弱

尽管SAFE指南和丰富的开源工具库为行业提供了强大的武器，但AI代理的网络安全仍面临严峻的风险与现实限制。

首先，AI代理不再是一个单一的模型，而是一个错综复杂的系统——包含身份控制、系统护栏、日志记录、外部工具调用等。这意味着传统的静态漏洞扫描已远远不够，防御者必须在代理运行时的“毫秒级”速度内做出反应。

其次，当前的防御机制在面对复杂的新型攻击（如高级提示词注入、第三方工具投毒、动态越狱场景等）时，仍存在被绕过的风险。由于AI模型的不可解释性，即使是专门微调的安全模型，也可能产生误判或漏报。

最后是系统的“弹性（Resilience）”挑战。在多模型协作环境中，当主模型发生故障或受到网络干扰时，如何确保AI代理在受损后安全恢复，而不泄露关键上下文或破坏底层数据？虽然LangChain等框架正在增加重试和安全降级机制，但要实现企业级的高可用和灾难恢复，仍需要进一步的技术攻关。

结论

网络安全是一场没有终点的竞赛，而AI代理的崛起更是成倍增加了防御的难度。NVIDIA、微软、亚马逊等领导者通过Open Secure AI Alliance推动的SAFE指南及全栈开源工具，证明了“开放共享、集体防御”是应对系统性AI风险的唯一有效路径。通过开源组件、共享威胁情报和标准化安全协议，防御者们正在努力缩短与新型攻击手段之间的差距。作为中文AI生态的观察者，aigc.bar 将持续关注这一开源安全框架的落地进展，助力开发者在保障安全的前提下，充分释放AI代理的生产力潜力。