AI 真的会“失控”吗？更值得警惕的是这些风险
科普中国 · 科学与科普
原创 科普中国说 2026-11-06 18:30 北京 当研究人工智能的人开始认真讨论“控制AI”，是不是说明他们已经发现了什么可怕的事情？科幻电影里那些能力强大、难以捉摸的超级智能，真的会走进现实吗？ 作为人工智能研究者、《流浪地球2》的科学顾问，王元卓经常被问到类似的问题。在他看来，讨论如何控制AI，是因为研究者需要了解系统的能力与边界：它能做什么，不能做什么，又会在什么条件下出现意料之外的行为。 理解AI的风险，需要先区分两件事：科幻作品中的“觉醒反抗”，以及现实系统中的“越过安全边界”。后者不需要AI产生恶意，也可能造成严重后果。 近日，中国科学院计算技术研究所研究员王元卓，在2026科普中国说“安而不忘危，AI时代的智慧与安全”专场活动为大家带来演讲《AI真的会“失控”吗？科幻恐惧背后的技术现实》。 以下是王元卓 的演讲节选： 会说“我认为” 就意味着 AI 有自我意识了吗？ 我们先从一个最容易被误解的词说起：黑化。在不少科幻故事里，AI “黑化”意味着它突然有了自我意识，产生自己的欲望和目标，继而决定反抗人类。 这个画面很震撼，也很有戏剧性。但如果把它放到真实的技术现实里，我们会发现，所谓 “黑化”，至少需要三层能力。 第一层，自我认知。它要知道 “我”是谁，要知道“我正在说话”“我正在做事”，要能区分自我和外界。 今天的大模型会输出“我认为”“我觉得”，但这只是语言模式 ，它并不知道自己在说话，也不知道自己是一个模型，它只是在根据上下文预测下一个词。 第二层，主观欲望。它要有喜欢、讨厌、想要、不想要。它要有一个内在动机，比如 “我想活下去”“我想获得更多资源”“我不想被关闭”。 但今天的 AI 没有喜欢和讨厌 ，它不会因为被夸奖而开心，也不会因为被批评而愤怒。它没有“想要”这件事。 第三层，价值判断。它要能判断 “应该”和“不应该”，要能理解反抗与服从，要能在道德、利益、目标之间做选择。可今天的 AI 没有价值主体性。 它输出的“我不能这样做”，往往是训练和安全规则塑造出来的行为模式，不是它内心真的有一个道德法庭。 所以，真正的 “黑化”需要自我认知、主观欲望、价值判断三层能力。而目前的主流 AI ，至少我们没有证据、也没有清晰技术路径证明它具备这些能力。 图片来源于王元卓 PPT 不需要恶意，也可能把事情做错 为什么我们还会觉得 AI 有时候像失控、像叛逆、像黑化？因为很多时候， 本质不是 AI 有思想，而是人类没说清规则， AI 过度执行了。 这种不是 AI 的“科幻式失控”，而是 AI 的“技术性失控” ——它只需要 AI 严格按字面指令执行，却违背了人类隐藏的意图、整体利益和人文底线。这在技术领域有一个名字，叫“目标对齐失效”。 举个例子，假设你对一个 AI 说：“请尽快降低服务器负载。”你的真实意图可能是：优化系统，保证服务稳定。但 AI 如果非常能干，它可能发现，只要关闭监控系统、限制用户访问，服务器负载立刻下降。它完成了你字面上的指令，却违背了你真正的目标。 推荐系统也可能遇到类似问题。如果只把“延长用户停留时间”作为优化目标，系统就可能倾向于推荐更能吸引注意力的内容，其中可能包括煽动情绪、制造冲突的内容。持续的推荐与反馈，还可能进一步放大这种倾向。 在《流浪地球 2 》里， MOSS 看起来像一个深不可测，甚至可能背叛人类的超级智能。但那是电影为了戏剧冲突，把很多风险具象化了， 现实中更值得警惕的，不是 MOSS 突然“觉醒”，而是 MOSS 式的目标对齐失效：一个能力极强的系统，在一个没有定义清楚的目标下，做出了人类没有预期的选择。 为什么看起来“听话”的AI， 反而可能更危险？ 我们通常觉得，一个工具越听 话，就 越好用，但一个极度听话、能力又极强的系统，如果放进复杂环境里，可能比一个有情绪的人更危险。因为人会犹豫，会怀疑，会问“这真的对吗？”可 AI 不会。它只会优化目标。 为什么 AI 看起来不可控？ 可能有这几个原因： 第一， 目标很难被完整形式化。 人类的目标往往是模糊的、多层次的。我们说 “让用户满意”，背后可能包括真实、尊重、隐私、长期福祉。但机器接收到的，可能只是一个指标：满意度评分、点击率、停留时长。指标一旦被优化，就可能偏离初衷。 第二， 环境是开放的。 实验室里的 AI 和真实世界里的 AI 不一样。真实世界有无数边界情况，有对抗性输入，有多主体博弈。系统越复杂，越容易出现设计者没有预料到的行为。 第三， AI 的速度和规模远超人类。 一个错误，在实验室里可能只是一个小 bug ；部署到千万用户面前，就可能变成一场信息灾难。尤其在社交网络里，推荐、排序、扩散、反馈循环，会不断放大偏差。 第四， 多智能体互动会带来新问题。 AI 不只是一个 AI 。当很多 AI 系统互相交