Eval丨 我们做了个“你画我猜 Benchmark” ：1350 张图后，GPT-6 险胜
硅星人Pro · 科技资讯
原创 周一笑 王兆洋 2026-09-05 19:37 北京 想得更多未必画得更好。 周一笑 ｜ smiletalker 王兆洋 ｜ Geisterspiele 每逢新模型发布，总有人先让它画张 SVG。 这“传统”源自开发者 Simon Willison，他从 2024 年起反复用同一道题测模型，那就是著名的“自行车鹈鹕”。 这个原本带着玩笑意味的测试，后来成了观察新模型能力的保留节目，甚至有人认真查过，模型公司是不是已经开始针对这只鹈鹕优化。 而这个测试也不只测SVG，它其实可以覆盖从推理、思考、到画图、对抽象概念的理解等不同关键能力的考查。 受这个启发，我们也决定做一个Benchmark，让模型画 SVG，以及升级一下，我们把一张图变成了一场你画我猜。 也就是模型画完不交给人打分，渲染成图片后交给其他模型猜，猜中，才算把意思画明白。 词库里除了常规名词，还有动作、热梗、AI 术语和反常识组合。 第一期，八个参评模型，一个参考组，150 个词，1350 次画图，11961 次猜测。 在目睹了各个模型或是让人惊艳或是让人哭笑不得的表现后，最终结果可以先公布给大家： Astra 总分最高，不过也没有遥遥领先，前三家还没有真正拉开差距。 更有意思的还是在测试过程里：有些模型连自己的画都认不出来，碰上反常识题，画的和猜的都会被常识带跑偏，而且你会发现，想得更多、花得更贵的模型，并没有稳定换来更高分。 图 2 · GLM 画「鱼钓人」，七个模型怎么猜 比如上面这个图就是其中一个回合。GLM 画了一条鱼坐在船上钓起一个人，其余七个参评模型里四家答鱼钓人，三家答钓鱼。 1 规则只有两步 在第一期，我们选择了八款模型，包括最近一周疯狂密集上线的几个明星模型，包括今儿刚全量可用的GPT-6。 八个参评模型分别是各家支持图片输入的最新型号，不都是旗舰。海外三家，GPT-6 Astra、Gemini 3.8 Flash、Claude Fable 5.1。国内五家，Kimi K3、Qwen3.8-Max、GLM-5.3-Flash、MiniMax-M3、DeepSeek-V4-Flash-Vision-Exp，其中 DeepSeek 参评的是它的视觉实验版。 我们设计了一个参考组， Gemma 4 26B ，它完成全部画图和猜图任务，但不参与排名，也不计入其他模型的得分。所有模型都按厂商默认 API 参数调用，图里禁止文字元素，超时和截断记犯规。 在规则方面，每个词由九个模型各画一张 SVG，每张画渲染成 PNG 后交给九个模型看图猜词。猜手拿不到代码，代码注释和元素命名里藏不了答案。答案由词库和匹配规则自动判定，做基础规范化后只认预先登记的标准词和同义词，没有审美打分，也没有第三方大模型裁判。 我们把一个模型的画被其他参评模型猜中的比例，记为作画得分；把它猜中其他模型画作的比例，记为猜图得分。两项各占一半。为了估计成绩可能有多大波动，我们按词重复抽样 2000 次，计算 95% 置信区间。 词库 150 个词，常规词 70 个，动作情境 20 个，热梗、AI 自指、反常识组合各 10 个，另有 30 个不公开的锚定词，用于跨季对照，也降低针对公开词库优化的影响。 图 3 · 一个词是怎么变成分数的 1 GPT-6 Astra 险胜，有些模型认不出自己的画 还是先看看最终结果得分： 宣称已经AGI了的 GPT-6 Astra 得了最高的 75.5 分，Gemini 3.8 Flash 74.6，Claude Fable 5.1 74.3。三家的置信区间彼此重叠，第一梯队是这三家。 随后是五个国产模型。Kimi K3 71.7，Qwen3.8-Max 71.3，GLM-5.3-Flash 68.9，MiniMax-M3 和 DeepSeek 分别为 61.9 和 60.9。 参考组 Gemma 总分 38.2，猜常规词尚有一半左右的正确率，生成的画却只有约两成能被其他模型认出。 图 4 · 总榜，黑色横线是 95% 置信区间 从结果看，同一个模型会画和会猜的表现并不一致，Astra 和 Claude 偏会画，作画得分 79.8 和 79.1 排前两位。Gemini 偏会猜，猜图得分 76.1 第一，作画得分排第五。GLM 作画 74.7，猜图 63.1，两项差距在八家里最大。 图 5 · 作画得分对猜图得分，对角线之下画得比猜得好 这里还有一个很有趣的测试，就是画手也会猜自己的作品，只是自猜不计入成绩。 结果也能体现一些模型能够提高的地方，MiniMax 自猜正确率 53.3%，比别人猜它还低 13 个百分点。DeepSeek 自猜 49.3%，也低了近 10 个百分点。 换句话说，有些模型画完，连自己都没认出来。画的时候胸有成竹，猜的时候六亲不认