GPT-6 自主爆改 Qwen 权重被吹成神？Meta 知名研究员泼冷水

📌 一句话摘要

文章梳理了一项 MIT 联合团队的实验显示，GPT-6 Astra 通过微调少量 Qwen 模型权重显著提升数学测试准确率，但 Meta 等研究员指出该实验依赖人类预设引导，不能替代传统训练，揭示了模型权重可读性的潜在方向。

📝 详细摘要

文章围绕 MIT 联合团队的一项技术实验展开，描述了 GPT-6 Astra 在不提供训练数据、不进行反向传播的情况下，直接读取并重写开源模型 Qwen3.5-0.8B 的底层高维张量。实验显示，仅改动约 13 万个权重（占 8 亿参数的 0.016%），便将模型在 MATH-500 数学评测上的准确率从 7.9%提升至 48.1%。文章进一步指出，这一提升本质上是通过消除模型在深层引发的死循环结构，让本可完成的推理得以输出，而非赋予全新解题能力。对照组实验表明，无死循环缺陷的 Gemma 3 270M 模型即使进行相同权重修改，数学成绩仍维持在 6.8%-7.7%之间。文章还讨论了 AI 从零编写神经网络权重的实验，发现生成的游戏网络参数量仅约 2 万至 148 万，远低于语言模型，凸显规则明确的任务才能实现。最后，文章指出该研究虽不能取代传统训练，却开启了深度学习模型权重可读性的新视角，为模型审计、后门检测、能力编辑和局部缺陷修复提供了可能的路径。

💡 主要观点

1. GPT-6 Astra 通过微调少量权重显著提升 Qwen3.5-0.8B 的数学测试准确率 实验中，Astra 仅修改了约 13 万个权重（占 8 亿参数的 0.016%），将 MATH-500 测试上的准确率从 7.9%提升至 48.1%，主要通过消除模型在推理过程中出现的死循环结构，使本可完成的推理得以输出。
2. 该提升本质是修复缺陷而非赋予新能力，验证了 Meta 等的冷水反驳 Meta 核心研究员指出，实验中人类已提供了明确的定向引导，且 Qwen 官方已知 0.8B 模型开启思考模式易陷入死循环。对照实验 Gemma 3 270M 无此缺陷，权重修改后成绩仍低徘徊，证明提升源于消除已有缺陷而非智力提升。
3. AI 从零编写网络权重的实验显示，仅限于规则明确的小任务 Astra 能够从零生成解决雅达利游戏和 9×9 围棋的网络权重，但这些网络参数量仅 2 万至 148 万，远低于语言模型。当任务规则变得模糊，所谓的权重生成便崩溃，凸显人类语言和复杂常识难以穷举为矩阵。
4. 该研究揭示了深度学习模型权重正在失去'不可读性'，为可解释性提供新方向 MIT 团队表明，神经网络的高维参数正趋于可读，未来有望用于模型审计、后门检测、能力编辑和局部缺陷修复，为模型研发流程中加入能直接诊断权重缺陷的 AI 研究员角色提供了可能。

💬 文章金句

• AI 生码率飙升，换不来 E2E 交付效能
• 用了 AI，整体效率可能「不升反降」
• 唯一可以确定的是，每个人都可以驾驶 AI，快速、规模化地生产无价值的「负债」
• 技能通胀，品味通缩
• 接口解决的是连接，治理解决的是业务语义
• 100% 能力开放，不等于突破员工自身的权限边界
• 如果大模型能直接写权重，梯度下降这类传统方法还剩什么位置？
• 这根本不是凭空注灵的点金术，只不过是顺手修掉了一个死循环。
• 把规则清晰的小游戏翻译成两万个参数的玩具模型，本质上只是把几行现成的逻辑代码，生硬翻译成了矩阵格式。
• 神经网络的高维参数，正在失去它的'不可读性'。

📊 文章信息

阅读完整文章