METR 独立评估：Anthropic 模型能力的进步速度大约翻了一倍，大部分可能要归功于 AI 参与研发 AI 安全评估机构 METR 11 月 5 日发布报告，判断截至 2026 年 10 月，...
宝玉(@dotey) · 人工智能
METR 独立评估：Anthropic 模型能力的进步速度大约翻了一倍，大部分可能要归功于 AI 参与研发 AI 安全评估机构 METR 11 月 5 日发布报告，判断截至 2026 年 10 月，Anthropic 在“目标明确的任务”上提升模型能力的速度，大约是 2024 年 3 月到 2025 年 10 月的 2 倍。METR 说这个判断很不确定，实际是 1.3 倍或 3 倍都不会意外。 METR 是一家非营利机构，研究前沿 AI 有没有失控风险。这份报告评估的是“AI 研发加速”：AI 公司用 AI 写代码、跑实验、训练下一代 AI，会不会让能力进步得比历史趋势还快。担心在于，AI 越造越快，能力增长可能超出对齐和管控手段能应付的速度。 【先说结论】 METR 给了三条结论，都是团队的主观判断，团队内部也有分歧： • 速度：进步速度大约是过去的 2 倍，区间在 1.3 到 3 倍。 • 原因：加速的大部分可能来自 Anthropic 大量用 AI 做研发，METR 猜测约占 8 成。METR 对此不确定，Anthropic 员工内部也没有共识。2025 年底那一波加速，AI 以外的因素可能起了很大作用。 • 往后：METR 没看到明显瓶颈，也没看到收益明显递减，所以未来 12 个月有可能加速得更快。METR 也说自己视角有限，可能漏掉了瓶颈。 报告里还有一个细节：比起以前，Anthropic 现在会把最新模型在内部多留一段时间再对外发布。 【1.9 倍这个数字怎么来的】 公开报告里最具体的证据是测试分数。METR 用的是 AECI，即 Anthropic 版的 Epoch 能力指数，这套方法由研究机构 Epoch AI 提出，把一堆测试成绩合成一个总分，方便看能力随时间怎么涨。 2025 年 10 月以来，Anthropic 模型的 AECI 增速是此前的 1.9 倍（95% 置信区间 1.5 到 2.8 倍）。也就是说，过去一年的进步，相当于此前两年的进步，大约是从 Claude 2.1 到 Sonnet 4.5 的距离。这个数比 Anthropic 在 Haiku 5.5 系统卡里报的 1.7 倍高，主要因为 METR 算进了三个没发布的内部模型。 这个数字受方法影响很大。换一种统计假设，结果在 1.1 倍到 2.9 倍之间；把其他公司的模型也放进来算，只有约 1.4 倍。最新内部模型在测过的每项测试上得分都超过 50%，难题快不够用了，METR 担心以后很难再这样测下去。 【AI 到底帮了多少】 METR 能确定的一点是，这次加速跟训练算力增长变快无关。招人、数据、算法突破等其他因素，很多细节被删掉了。 METR 和 Anthropic 访谈了不少研究员，大家对自己领域被 AI 加速多少说法差别很大，大致集中在 2 倍。Anthropic 内部还在 Slack 上用表情投票，让员工估计最新模型让自己快了几倍，10 月的平均自评约 12 倍。METR 认为这种投票只是很粗的证据，并提醒个人干活快几倍，不能直接换算成公司整体进步快几倍。 员工还说，现在 AI 主要是给人当帮手，训练模型最重要的环节还不能交给 AI 完全自己做。不过一些研究员说已经看到苗头，AI 独立做出重要贡献可能很快会出现。 【大半证据被涂黑】 METR 给 Anthropic 交了一份约 100 页的完整报告。按约定，公开版里的非公开信息 Anthropic 都能单方面要求删除。Anthropic 删掉了 METR 认为最有说服力的大部分证据，包括训练各环节的加速估算、算法进步估算、算力和数据各占多少功劳，以及对未来模型的预测。 Anthropic 的理由是，这些机密可能帮其他 AI 公司加速。METR 认同删掉的内容属于这类信息，但没评价删得合不合理，理由是自己不适合在公司商业利益和公众知情之间做权衡。METR 说，结果就是公众没法自己核对证据，只能比理想状态更多地依赖 METR 的判断。10 月底 Anthropic 还收紧过一次删减标准，公开报告因此推迟了约 5 天。 合同原本还包括核查 Anthropic 的算力分配，看多少算力用在提升能力、多少用在安全。项目做到一半，Anthropic 取消了这部分，当时 METR 还没得出实质结论。Anthropic 的说法是暂时集中做风险评估，以后再回头做。 这次评估从 8 月中做到 10 月底，METR 投入相当于 2.5 个全职人员，没收 Anthropic 的钱。它和 Anthropic 10 月 15 日宣布、给 METR“类员工权限”的项目是两回事。这次 METR 要数据得主动申请，Anthropic 可批可拒，METR 说可能漏掉了自己不知道存在的信息。 【Anthropic 的回应】