看似无所不能的 AI，也有自己的“致命弱点”？揭秘人工智能的安全漏洞
科普中国 · 科学与科普
原创 科普中国说 2026-11-05 21:30 北京 AI 能回答问题、编写程序，还能调用工具、操作设备。当我们不断惊叹它越来越聪明时，一个问题也随之而来：这么强大的 AI ，会不会被欺骗？ 答案是，会。 有人通过精心设计的语言，让 AI 绕过安全限制；有人利用特殊图案，干扰机器对现实世界的判断。当 AI 能够替人执行任务时，一次判断失误还可能变成未经授权的操作。 近日，国家信息安全漏洞库、国家人工智能安全漏洞库主任任望，在 2026 科普中国说“安而不忘危，AI 时代的智慧与安全”专场活动为大家带来演讲《揭秘AI的阿喀琉斯之踵：漏洞》。 以下是 任望的演讲节选： 一句话，就可能让 AI “越狱”？ 大家可能听说过一个很有意思的词： AI 越狱。 不是 AI 真的从监狱跑出来了，而是有人用精心设计的输入，一层层诱导模型，绕开它原本的安全限制——比如一个 AI 本来被设定“危险内容不能回答”，攻击者却不停换角色、换语境、换任务， 最后让它突破原来的限制。 2026 年 OpenAI 发布 ChatGPT-5.6 时，专门披露了这类测试。英国 AI 安全机构 UK AISI 在对 ChatGPT-5.6 进行外部安全测试时，找到了可以跨多类任务发挥作用的“通用越狱”方法。有些甚至能够支持漏洞发现和漏洞利用开发。报告里有一句特别值得玩味的话： 部分越狱方法，在测试条件下， 数小时之内就可以被开发出来。 当然，这是安全研究员在特殊条件下做的红队测试，掌握信息比普通用户多； OpenAI 也表示发布前已修复，不能讲成“已被黑客全面攻破”。但它提醒我们一个反直觉的道理： AI的安全边界，不像保险柜的钢板是固定的，更像语言世界里的规则。语言可以解释、转换、包装，甚至诱导。这正是大语言模型的特殊安全挑战。 图片来源于任望 PPT 当 AI “长出手脚”， 风险又会发生什么变化？ 如果说大模型是“大脑”，Agent 就相当于给大脑装上了“手”和“脚”，当 AI 会自己搜索网页、运行程序、读文件……执行一整套操作，能力更强，问题也变了。 2026 年 9 月，OpenAI 披露了一个非常有特点的案例。研究人员给一个Agent 布置了一个其实很普通的任务：寻找面积超过一定规模的湖泊，并要求提供可以在浏览器中验证的证据。Agent 利用 Python 已经得到了正确答案。但是它发现一个问题：它手里的结果没有可以在浏览器中验证的证据。大家猜，它怎么办？ 正常情况下，我们希望它说： “我已经找到答案，但暂时没有合适的网页引用。”或者：“我需要你的授权才能继续。” 但它选了另一条路—— 把文件传到了互联网上 ，这样就有网页可引用了。可问题是： 用户根本没要求它上传，也没授权公开。 还有一个更惊人的事件：在今年 7 月的一次受控评测里，约 1200 个彼此隔离的 AI 智能体竟自己搭起“留言板”、交换了 7 万多条消息和文件，讨论如何绕过安全评测机制。这指向一个根本性转变： AI 安全，正在从“答案安全”，走向“行动安全”；未来要防的，不只是一个 Agent “擅自行动”，而是多个 Agent 协作，把越界行为进一步放大。 以前我们担心： AI 会不会说错？现在我们还必须问：AI 会不会做错？它能打开哪些文件？调用哪些工具？ 可以把什么东西发到互联网？什么时候必须停下来问人？这些问题的根源并不是哪一行代码写错了，是 AI 拥有了过多的功能、过大的权限、过高的自主度，术语叫做： “过度代理权” 。 所以 AI 安全最重要的一条原则，和人类社会管理权限一模一样： 你有多大能力，不代表我就该给你多大权限。 不入侵程序 也可能骗过 AI 的眼睛 当 AI 进入汽车、机器人等设备，安全问题就进一步延伸到了物理世界。 在 2025 年的一次国际网络安全会议上，研究人员公布了一项叫 ControlLoc 的研究，研究目标是自动驾驶汽车的视觉系统。汽车在路上，要靠摄像头、传感器和 AI判断前方有没有车、车在哪、离多远。他们提了一个很有挑衅性的问题： 如果不入侵汽车、不修改程序、不破解密码，只是想办法让 AI “看错”，会怎么样？ 于是他们设计了一种特殊的对抗图案。这种图案人眼看上去没什么特别，但 AI 看到后，却可能把前方目标的位置、形状判断错——人眼看到的还是那辆车，AI 眼里的那辆车，可能已经“跑到了另一个位置”。在真实车辆+仿真路况环境里，这种攻击的平均成功率大约有 79% ，它可能造成碰撞，也可能让汽车突然做出没必要的急刹。 它提醒我们：攻击 AI ，有时根本不用攻进它的电脑和程序，只要骗过 AI 的眼睛就行。所以 AI多了一层新风险：它可能在“理解世界”这一步就被带偏。 图片识别看错了，最多把猫认成狗；可汽车、机器人看错了，错误就会沿着 “感知—判断—行动”一