GPT-6自主爆改Qwen权重被吹成神？Meta知名研究员泼冷水
InfoQ 中文 · 软件开发
青和、飞野 2026-11-07 10:15 北京 以下文章来源于：AI前线 AI前线 报道 AI 前沿最有价值的一手信息。面向 AI 爱好者、开发者和科学家，提供大模型最新资讯、AI 技术分享干货、一线业界实践案例。 11 月 2 日，麻省理工学院（MIT）联合团队的一份技术实验在社交网络引爆了近 600 万次围观。 作者 | 青和、飞野 编辑｜四月 11 月 2 日，麻省理工学院（MIT）联合团队的一份技术实验在社交网络引爆了近 600 万次围观。 实验设定极具冲击力：不给训练数据，不跑反向传播，只给一个纯 Python 环境，让 OpenAI 的前沿大模型 GPT-6 Astra 直接读取、并重写 开源模型 Qwen3.5-0.8B 的底层高维张量。 最终，Astra 仅改动了 8 亿参数中的 0.016%（约 13 万个权重） ，就让 阿里 Qwen3.5-0.8B 在 MATH-500 数学评测上的准确率 从 7.9% 暴涨至 48.1% 。报告后半部分，Astra 甚至在没有训练样本的前提下，直接凭空“手写”出能打简化版雅达利游戏、下 9×9 围棋的 小型神经网络权重 。 博客署名作者之一、斯坦福知名学者 Omar Khattab 随后公开抛出了一句挑衅式的反问： “如果大模型能直接写权重，梯度下降这类传统方法还剩什么位置？” 技术狂欢者将这次突破视为 模型“递归式自我改进”的起点 ，甚至预言 数以千万美元计的预训练集群将被“权重编译器”替代 ；但另一端，Meta、各大开源社区的一线研究员却迅速泼下冷水，直指推文“标题党”。 这场两极分化的争论，把 AI 阵营直接撕裂成两派： 信徒以为自己见证了神迹降临，而怀疑者看到的只是一场精心包装的学术营销。 舆论修罗场 在这场交锋中，激进派与保守派的论据几乎完全对立。 支持者的兴奋点在于 “以极小代价颠覆庞大算力” 。 拥有 15 万粉丝的科技博主 Chubby 等人认为， Astra 展现了高维参数层面的诊断与重构能力，意味着高阶模型可以充当低阶模型的“医生”，是实现自动化自我迭代的基石 。在社交平台上，“AI直接编译AI”的叙事迅速俘获了大众眼球。 然而，严谨的代码考古很快引来了反噬。 Meta 核心研究员 Lucas Beyer 直言项目“非常酷，但吹得太过了”。他扒出团队公开的系统提示词指出：实验并非让 Astra 自行探索盲区， 人类在提示词中已经给出了极其露骨的定向引导 ——明确要求 Astra 排查模型是否因陷入死循环而被截断，同时定死了规则，禁止通过“提前终止思考”这种轻量工程手段投机取巧。 研究者 Yunfan Zhang 进一步翻阅了完整的实验日志。他发现，Astra 只是在长篇推理模式（Thinking Process）下做了一组开关对照，识别出是 Qwen 的推理链在打转，随后执行了定向清除。“这个故事的真实版本，”Zhang 讽刺道，“远没有宣传的‘把准确率提高 7 倍’那么戏剧化。” 更有工程师撰写长文直言，用大模型改权重就像去人工反汇编一段已经编译好的二进制程序，“并不具备超人属性”，聪明的算法研究员画几张激活热力图同样能做到。 手术刀还是点金术 事实上，Qwen3.5-0.8B 的数学成绩从 7.9% 飙升至 48.1%，绝非因为它一夜之间学会了高深数学，而是一次精准的“线路排障”：Astra 顺着信号流动看懂了内部逻辑，直接掐掉了导致 它无限死循环的那根短路导线 。下图展示Astra 在 50 次试跑里逐步改权重，绿线是改后模型在练习题上的正确率，灰线是原模型。 首先，这是一个 已被官方明示的已知缺陷 。通义千问官方的技术文档中早就提醒过：0.8B 这种极端微型尺寸的模型，如果强行打开思考模式， 极容易陷入无休止的自我重复与逻辑死循环，因此官方默认将其关闭 。 而在 MIT 的实验环境里，模型的上下文上限被撑到了 32,768 个 token，思考模式被强制开启。结果是灾难性的：原版 Qwen 在做 MATH-500 时， 高达 93% 的题目根本不是因为“做错了”，而是把算力全耗死在循环废话里， 直到长度耗尽被系统无情截断。 Astra 在多轮调试中完成的操作，本质上是 特征消融（Abliteration） ： 对比定位： Astra 提取了 Qwen 正常推理与死循环时的内部激活状态，发现模型在深层（第 15 层与第 19 层）存在一个固执的几何方向，不断将信号推向死胡同； 权重投影： Astra 从这两层的输出权重矩阵中各挑选了 64 列，通过线性代数变换强行减去了这个方向； 解除闭锁： 循环方向被消解后，模型原本被锁死在长文本里的推理链条得以顺利结束，中位长度平稳落在约 9,000 个 token。 随后的详尽数据彻底揭穿了“智力提升