首次曝光！OpenAI新一代旗舰模型换上“循环深度”推理架构：用计算深度换参数规模
InfoQ 中文 · 软件开发
四月 2026-09-06 10:15 天津 9月2日消息，根据《The Information》援引知情人士获悉，OpenAI即将推出的旗舰模型Astra采用了一种名为"循环深度"（recurrent depth）的新技术 作者 | 四月 9月2日消息，根据《The Information》援引知情人士获悉，OpenAI即将推出的旗舰模型Astra采用了一种名为 "循环深度"（recurrent depth）的新技术 ，也被称作 "循环Transformer" ，旨在大幅提升代码编写和计算机操作能力。 此前就有类似公开研究显示（见下文详述），一个 35亿参数 的循环深度模型，可在推理时等效调用 最高500亿参数模型 的算力。 该技术允许模型在输出下一个词之前， 将文本在同一网络层中多次循环处理，用较小的模型实现了庞大模型的性能 ， 显著降低了内存和带宽成本 。 知情人士称，Astra 所采用的方法，与欧美研究人员此前提出的 Latent Reasoning（潜空间推理） 方向相似。Meta、微软等机构过去也探索过类似思路，包括 让模型直接在连续的数学表示空间里进行推理，而不是强迫所有中间过程都转换成人类语言 。 从这个角度看，Recurrent Depth真正值得关注的，并不只是围绕 Transformer 架构进行了改造，而是和近年来的潜空间推理共同指向一个更大的趋势： 大模型正在把更多“思考”从 Token 空间搬回模型内部。 与此同时，该项技术带来的副作用就是， AI 的推理过程（思维链）将变得不可读 ，将进一步加重业界对于 大模型 越界行为的安全担忧 。上个月，奥特曼 已罕见地因Astra"能力过强"主动踩下刹车。 1 技术本质：榨干同一层网络的计算潜力 当前，大语言模型处理信息的方式主要采用 线性的流水线模式 。 标准 Transformer 模型在读取上下文提示后，会严格按照固定的网络层级（从数学步骤 1 一直向下推进到最终步骤）处理固定次数，最后输出下一个词。 Astra 引用的 “循环深度”技术打破了这种线性堆叠的宿命 。这种方法不再单纯依赖物理层面增加网络层数，而是在输出新词之前， 让文本进入一个由“数学组件合并构成的循环块”中，重复处理多次 。 本质上讲，这是一种 参数复用机制 ， 用时间（计算循环）换取了空间（模型参数量） 。 打个比方：标准的 Transformer 就像一条拥有100个独立工位的组装线 ，数据每经过一个工位被敲打一次就送往下游。 而“循环深度”则像是一个顶级工匠的专属工作台，数据不往下游走，而是 由同一个工匠在原地反复打磨、推敲多次，直到打磨通透再交出成品 。 技术社区目前已围绕该技术方向展开热切讨论。有开发者发现，2025年发表的论文 《Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach》 与 Astra 路线非常相近。 论文曾训练一款仅 35 亿参数的模型，在测试阶段不断增加内部循环次数后，其性能仍能持续提升，研究者将计算预算最高扩展至约 500 亿参数模型对应的计算负载。 模型没有变大，但“思考深度”还能继续加码。 该论文由德国 ELLIS Institute Tübingen / 马克斯·普朗克智能系统研究所、美国马里兰大学帕克分校，以及劳伦斯利弗莫尔国家实验室（LLNL）联合完成。 2 越级打怪：压缩成本与资本抬价 从商业层面看，该项技术首先能带来极致的成本压缩 。通过在同一层多次循环，较小的模型能够展现出极其庞大模型的性能，极大降低了推理时的内存和带宽成本。 事实上，Astra已经交出了第一份"战绩"。8月初，OpenAI研究员Noam Brown披露， Astra内部版本攻克了10个尘封10年以上的数学与理论计算机科学难题 ，涵盖高维几何、编码理论、群论、格密码学和极值组合学——其中最受关注的是 首次显式构造出非索菲克群 ，这是群论自数学家Gromov在1999年提出索菲克性概念以来悬而未决的问题。 整套求解按当前API费率折算， 算力成本仅约2000美元 ，且每个证明都被形式化为Lean证书，实现机器可验证。 正如前文提及，Meta、微软等研究人员也在探索诸如 “连续思维链”（chain of continual thought）或 coconut 等类似概念 。底层逻辑在于，AI 理解概念的方式与人类不同，强迫它们用人类语言来展示推理过程反而会降低效率。 不如 让 AI 用自己的“数学语言”进行潜在推理（latent reasoning），更为精准高效，从而打破人类语言的低效桎梏。 今年6月，微软等研究人员就曾推出一套新的训练方法 LOTUS ，将 Looped