LLM黑箱正在崩塌：OpenAI奥特曼点赞的新论文
PaperAgent · 人工智能
PaperAgent 2026-11-06 11:47 湖北 近期， 前OpenAI 可解释性研究员Nick Cammarata发布长文： 神经网络内部，可能远比我们过去以为的更容易理解 。 OpenAI CEO 山姆奥特曼对这篇工作公开点赞。 重新审查了机制可解释性领域最悲观的一批证据，得出一个反常识结论： 过去看到的乱，很大程度上不是神经网络任意混杂概念，而是早期架构和观察工具的局限。 捡到钱包的事实，激活丢失财物与诚实等机制，再共同影响归还和克制，最终改变return的输出。 Qwen3-32B中，约90%只有一个主要功能 语言模型给出了更接近标题的证据。 对Qwen3-32B的初步审计显示，约90%的神经元正负极点有一个明确的主要功能，通常只附带相关分支；约7%有两个相关工作；只有约2%至4%暂时没看懂。 Qwen3-32B五个神经元的激活语义分布 泰坦尼克、巴洛克、圣诞节等神经元的激活，也大多围绕核心语义展开，而不是毫无关系地随机触发。 这意味着，直接研究LLM原生的神经元和电路，可能比过去设想的更有前途。 不过，约90%是作者设定的审计口径，不等于整个模型已经有90%被完整解释。 视觉模型末层，约99%至100%的神经元可以解释 InceptionV1的深层神经元曾被视为混乱代表。作者估计，旧工具下末层可解释神经元只有约5%；换用更好的工具，同一网络升至约50%。 现代视觉模型中清晰可辨的瓢虫神经元 更关键的是架构对比。在参数量和数据保持可比的情况下，引入残差连接、LayerNorm等现代改进后，ConvNeXt末层约99%的神经元都能获得清晰解释，部分设置达到约99%至100%。 模型规模没有膨胀，训练数据没有更换，可解释性却出现数量级变化。 这很难再用神经元天然混乱来解释。 著名的猫车神经元，也在被重新理解 InceptionV1的4e:55神经元会同时响应猫脸和汽车前脸，长期被当作无关概念被硬塞在一起的经典证据。 猫车神经元及其上下游连接 重新检查其输入、下游连接和正负响应后发现，关键共性是 尖细的V形或双侧尖角结构 。猫狐的尖脸、车头、泳池桌和新干线都能提供类似模式，圆形结构则把它推向负极。 猫和车仍参与构成这个神经元，但组合并非任意。 过去的多义性，可能只是观察者没有找到共享模式。 Neural Networks Are Already Clean https://already-clean.goodfire.com/already-clean.pdf 动手设计AI Agents：（编排、记忆、插件、workflow、协作） Loop工程已死，Graph工程永生 一篇Loop+Harness的自进化Agent最新综述 2026，做Agentic AI，绕不开这两篇开年综述 已经读到这了，不妨点个👍、❤️、↗️三连，加个星标⭐，不迷路哦~ 跳转微信打开