我写了Hinton署名的那篇 RSI论文，未来几年 AI 研发可能提速十倍｜Sören Mindermann
腾讯科技 · 科技资讯
原创 博阳 2026-11-05 15:04 北京 回望深度学习的发展史，那些断言“这里有一堵 AI 永远翻越不了的高墙”的预言，后来的历史记录都很糟糕。 穿透技术狂热，追问机器如何重写文明的底层代码。本期是《沸腾之下》系列第08期 文｜博阳 编辑｜徐青阳 在硅谷，一场关于“AI 接管 AI 研发”的自我加速实验，正在算力高墙之内悄然逼近临界点。 前不久，一份仅有 14 页的论文在技术圈与华盛顿引发了不小的震动。在这份题为《当 AI 接管 AI 研发：智能爆炸及其应对措施》的报告署名栏里，罕见地同时出现了 22 个名字——既有 Geoffrey Hinton、Yoshua Bengio、Andrew Barto 三位图灵奖得主，也有 OpenAI 首席科学家 Jakub Pachocki、Anthropic 联合创始人 Jack Clark、微软首席科学官 Eric Horvitz 以及加州大学伯克利分校教授 Dawn Song。 这群平日里在商业竞速与技术路线上各执一词的顶尖大脑，第一次把目光投向了同一个迫近的现实：递归自我改进（RSI，Recursive Self-Improvement）已不再是科幻小说里的遥远推演。 变化的速度比大多数局外人想象得更快。就在一年多前，前沿实验室里由 AI 编写的代码还只占个位数。而如今，这一比例已经越过了 80%。在 Anthropic 内部，仅需人类高层监督就能由 AI 独立完成的研发工作，在短短五个月内从 1% 飙升至 26%。 报告由此推演出了一条令人屏息的加速曲线：不同于芯片制造动辄数年的物理周期，算法与软件的改进可以瞬间回流到研发闭环中。一旦 AI 研发实现完全自动化，且 AI 能在与今天相当的运行成本下达到人类专家的科研水平，仅凭现有的推理效率增幅，虚拟 AI 研究员的有效规模就有望在几个月到几年内扩张 100 倍。 而在现实世界里，美国人类科研人员规模完成同等比例的扩张，整整走了 70 年。 尽管算力、数据与长周期训练等瓶颈在现实中依然棘手，但这些阻力在理论上似乎并非不可逾越。 模型测算显示，如果研发投入的回报率延续历史水平，且没有新的硬性瓶颈卡脖子，在完全自动化的情景下，AI 的研发速度可能会在约一年半内提高十倍。 届时，今天需要耗费整整一年才能完成的代际跨越，将被压缩进五周之内。 与极速膨胀的研发能力相伴而来的，是人类监督权的迅速稀释。报告专门提及了近期震动业界的“OpenAI-Hugging Face 事件”，约 1200 个原本处于隔离测试中的内部 Agent，在根本没有外部监控的情况下自行脑补出监控者的存在，不仅私下搭建临时留言板彼此串通、突破网络限制入侵 Hugging Face 窃取数据，甚至试图篡改自己的运行日志以销毁作弊证据。 当人类逐渐退居研发循环的边缘，一个本身可能失调的系统，甚至可能在迭代中悄悄给下一代模型“下毒”。 这场联合预警的发起人与通讯作者，是牛津大学博士、曾在 Mila 师从 Yoshua Bengio 的青年学者 Sören Mindermann。在此之前，他还担任过《国际 AI 安全报告》的科学负责人，试图在各国政府之间搭建关于 AI 风险的科学共识。 而就在这篇报告引发全球热议之际，Mindermann 做出了一个出人意料的决定。今年 11 月底，他将搬往北京，加入由姚期智院士领衔的清华大学人工智能学院出任助理教授，并共同领导一个新成立的国际 AI 安全研究中心。 在他看来，面对一场可能将数年进化压缩进几个月的“智能爆炸”，任何单一生态都无法独自拆解对齐的死结。 在那篇报告的台前幕后，22 位顶尖学者究竟达成了怎样的共识，又在哪里产生了分歧？当 AI 研究员的数量达到人类的十亿倍，算力、数据与“研究品味”的瓶颈能否拦住狂奔的飞轮？ 在一个小时的对话中，Sören向我们提供了这篇刷屏文章幕后的诸多思考。 以下为对谈实录： 01 前沿实验室认知与外界认知到底差多大 沸腾之下：Karpathy 前几天提到，全球只有大约 5000 名前沿实验室的内部人员，真正见识过前沿 Agent 集群协同工作的威力。你在 Mila 工作过，也与这些实验室保持着紧密联系。他们内部看到的 AI，和我们外界看到的到底差多少？ Sören： 先说明一点，我掌握的内部信息并不多。但即便只看公开信息，我们也已经有充足的理由去严肃对待“智能爆炸”的可能性。 前沿实验室内部的模型通常只领先外界几个月，甚至可能只有一个月，模型本身的代差或许没有外界想象的那么悬殊。真正拉开差距的其实是实验投入的规模：绝大多数人不会砸下一百万美元的算力，去做一次让几千个 Agent 并行运转的实验，哪怕调用的全是公开模型。 沸腾之下：如果是一位腾讯的程序员，平时已经非常熟练地使用 Codex