通过审计，仍能顺利上线的零信任智能体系统
BestBlog编程类文章 · 软件开发
📌 One-Sentence Summary 本演讲介绍了一种面向生产环境中 AI 智能体的零信任安全架构，并提出身份、工具、上下文/检索、策略/决策、审计/证据五层控制，以防止数据泄露并确保合规。 📝 Summary 本演讲探讨了在生产环境部署 AI 智能体时面临的关键安全风险，并以一次真实事件为例：智能体未经授权调用数据库，导致租户数据泄露。演讲者指出，AI 智能体是一种需要独立安全控制的新型身份，传统的 LLM 防护措施并不足够。演讲提出了一种五层零信任架构：身份层，为每个智能体和会话分配独立身份；工具层，针对每种工具进行授权并使用短期令牌；上下文与检索层，为检索到的文档设置 ACL；策略与决策层，通过集中式策略引擎进行决策并记录日志；审计与证据层，进行结构化追踪以满足合规要求。演讲还指出了生产环境中的四种故障模式：工具输出引发的提示词注入、权限逐渐膨胀、不安全检索跨越租户边界，以及操作放大。大规模应用这些控制时，还需要权衡延迟预算、令牌生命周期管理、故障时放行或拒绝、追踪中的基数爆炸，以及策略引擎的单点故障等问题。最后，演讲强调应设置防护措施，并遵循最小权限原则。 💡 Main Points 生产环境中的 AI 智能体需要采用零信任安全模型，并设置区别于传统 LLM 安全措施的专门控制。 与静态 LLM 不同，智能体会自主决定调用哪些 API、在多个步骤间保留状态，而且行动速度快于人工审核，因此现有安全机制可能失效。演讲以一次真实的数据泄露事件说明这一点：智能体未经授权调用数据库，导致租户数据泄露。 五层架构提供全面防护：身份、工具、上下文/检索、策略/决策，以及审计/证据。 每一层都负责执行特定控制：为每个智能体和会话分配独立身份、针对每种工具进行授权并使用短期令牌、为检索到的文档设置 ACL、通过集中式策略决策并记录日志，以及进行结构化追踪以便审计。审计人员可以将操作追溯到具体的智能体和令牌。 必须应对四种生产环境故障模式：工具输出引发的提示词注入、权限逐渐膨胀、不安全检索，以及操作放大。 检索到的文档中若包含恶意内容，可能触发非预期操作，造成提示词注入。权限逐渐膨胀指的是跨工具累积了过多权限。不安全检索会跨越租户边界。操作放大则可能让一条含糊的提示词触发数十次会产生副作用的调用。 扩大这些控制措施的应用规模，会带来延迟、令牌生命周期、故障处理方式和系统复杂度方面的权衡。 关键路径上的决策必须为数十次工具调用预留延迟预算。令牌可能在工作流执行过程中到期。团队必须决定故障时是放行并限制为只读，还是拒绝操作并阻止破坏性行为。按会话分配身份会使追踪基数急剧膨胀。集中式策略引擎则会形成单点故障，因此需要备用机制。 💬 Key Quotes 「人们谈到 AI 智能体时，想到的都是那些漂亮、友好又时髦的聊天机器人，觉得它们能让生活更轻松。今天在这里，我希望你们换个角度看待它。」 「这些 AI 智能体运行在你们的环境和系统中。你们在系统里构建的任何控制措施或安全机制，都不适用于这种新型身份。」 「提示词不是边界，真正的边界其实是工具层。」 「如果你是在它运行时才开始考虑这些问题，那就说明出了问题。我们的目标是打造一个在生产环境中平平无奇的系统。」 「我们需要采取措施来防范这种身份，因为它是你们系统中一种本质上截然不同的存在。」 📊 Article Meta AI Screening： 88 Source： InfoQ Author： Advait Patel Category： 软件编程 Language： 英文 Read Time： 29 min Word Count： 7172 Tags： 编程与工程 , 安全 , 零信任 , 系统设计 , 云原生 / DevOps Read Full Article