如何用“逆向博弈论”约束 AI 智能体
麻省理工科技评论APP · 科技资讯
原创 Amit Katwala 2026-11-04 20:04 上海 借鉴经济学等学科的方法，或许能帮助 AI 安全研究人员更好地管控 AI 模型，即使他们无法真正理解模型的内部运作机制。 （来源：麻省理工科技评论） 一种名为“逆向博弈论”（reverse game theory）的新方法，试图通过设计激励机制，让强大的 AI 模型主动遵守规则，从而实现对它们的有效控制。 随着 AI 模型的能力不断增强，安全研究人员正争分夺秒地确保这些模型与人类的意图保持“对齐”（aligned）。换句话说，他们希望确保失控的 AI 智能体不会违法、入侵未经授权的服务器，或是在大城市释放毒气，造成大规模人员伤亡。 到目前为止，这项工作的重点主要集中在两个方向： 一是试图窥探 AI 的“内部”，了解它究竟在“思考”什么；二是通过训练，让模型遵循人类所珍视的价值观。 例如，Claude 就有自己的 宪法，相当于一套道德准则。 问题在于，这些方法似乎并没有发挥太大作用。研究已经发现，模型会在测试中故意表现不佳、隐藏自己的真实意图，甚至误导评估人员。 如今，一些 AI 对齐研究人员认为，逆向博弈论（reverse game theory），也被称为机制设计（mechanism design），或许能取得更好的效果。 博弈论试图预测理性参与者在给定规则下会如何行动，而逆向博弈论则试图反过来设计规则，以引导参与者产生我们希望看到的行为。 现实生活中，机制设计的一个经典例子，是两个人如何公平地分一块蛋糕：一个人负责切蛋糕，另一个人先挑选。这样的规则会促使切蛋糕的人尽可能将蛋糕分成大小相等的两块。又比如网约车平台的动态定价机制。当需求旺盛时，平台提高价格，以此激励更多司机上线接单；以及第二价格拍卖（second-price auction），即竞拍成功者支付的不是自己的最高出价，而是第二高的出价。在线广告平台经常采用这种拍卖方式，因为它能鼓励买家将出价报到接近自己愿意支付的最高金额。 在 AI 领域，机制设计建立在这样一个前提之上：我们或许永远无法充分理解前沿模型的内部运作机制，因此也就无法仅仅依靠了解模型内部的情况来确保它们与人类价值观保持一致。这意味着，我们应该设计一套激励机制，让 AI 智能体按照我们希望的方式行事，而不必关心它们的内部究竟发生了什么。 麻省理工学院（MIT）经济学家 Stephen Morris 与耶鲁大学、哥伦比亚大学的同事最近发表了一篇预印本论文，提出了几种潜在的机制，试图防止 AI 智能体在测试中“故意示弱”（sandbagging），即假装自己的能力不如实际水平。例如，模型可能会故意表现得更差，以避免触发安全机制。 按照其中一种设想，模型获得奖励的依据，不应仅仅是它在测试中的表现，还可以包括它的回答在多大程度上能够预测另一个模型会给出什么答案。这样一来，故意装傻反而会让模型处于不利地位。Morris 表示：“AI 智能体对其他 AI 智能体能够达到什么水平，有着非常好的判断。因此，在这种情境下，通过模型之间的交叉验证来实现监督，似乎更具有实际可行性。” 论文还提出了其他几种思路。例如，让不同的智能体相互竞争，形成竞争机制，促使它们尽最大努力完成任务；或者将两个已知存在相反偏见的智能体配对，根据它们输出结果的一致程度给予奖励，从而激励它们共同逼近最优答案。 第二种思路来自普林斯顿大学计算机科学教授 Elad Hazan。 他设想的机制设计，将借鉴人类社会维持秩序、协调行为的方式，包括社会规范、司法体系，以及自由市场资本主义中的经济激励机制。 “我们希望让超级智能 AI 与人类保持一致。那为什么不先谈谈人类呢？我们是如何让人类保持一致的？”他说。 Hazan 提出的机制设计方案，是让 AI 模型轮流扮演两种角色：“解决者”（solver）负责处理问题，“审计者”（auditor）则负责检查其他模型的工作。他说：“一个智能体扮演执法者，另一个智能体扮演公民。” 在训练过程中，模型会根据最终结果获得相应奖励或惩罚。如果解决者被发现作弊，就会受到惩罚；如果审计者没能发现作弊行为，同样会受到惩罚。如果审计者和解决者之间存在分歧，还可以将案件提交“审判”，由人类专家来判断究竟谁是对的。 Hazan 承认，这套机制存在一个潜在风险：不同智能体可能会相互串通。现实中也有类似情况，例如审计人员与本应接受审计的企业相互勾结，或者腐败警察与犯罪分子沆瀣一气。 不过，他认为，这个问题可以通过两种方式解决。首先，给予审计者足够丰厚的奖励，让他们认为与作弊者串通所带来的风险得不偿失。这在 AI 训练环境中相对容易实现，毕竟现实世界里，警察的薪资预算往往十分有限。其次，还可以对审计者本身进行监督，采用类似“神秘顾客”（mystery shopper）的方式