REINFORCE Zero：为什么内核对齐后，极简 IS 能让异步 RL 稳定训练 20,000 步？
青稞AI · 人工智能
青稞AI 2026-11-06 00:00 河北 通过训练–推理不变性（Trainer–Inference Invariance，TII）对齐训练端与推理端的数值执行后，仅用最简单的、未截断的 token-level 重要性采样（Importance Sampling，IS）系数，就能让异步 LLM RL 稳定训练 20,000 steps。 主页： http://qingkeai.online/ 作者：初七 9527 原文： https : //zhuanlan.zhihu.com/p/2101589373355569444 青稞社区为科研人员提供成果宣传支持，投稿联系：aiFreeCode 我们在 REINFORCE Zero 中发现：通过训练–推理不变性（Trainer–Inference Invariance，TII）对齐训练端与推理端的数值执行后，仅用最简单的、未截断的 token-level 重要性采样（Importance Sampling，IS）系数，就能让异步 LLM RL 稳定训练 20,000 steps。 项目： https://github.com/hijkzzz/REINFORCE-Zero 论文 PDF： https://github.com/hijkzzz/REINFORCE-Zero/blob/main/REINFORCE-Zero.pdf alphaXiv： https://www.alphaxiv.org/pdf/2611.reinforce-zero-kernel-alignment-asynchronous-rl Molt： https://github.com/NVIDIA-NeMo/labs-molt 这里的 step 指一次策略更新。Loss 保持极简，无需 ratio clipping，也无需 sequence/token rejection gates。 据我们所知，这是开源社区首次展示 TII + 未截断 token-level IS、无样本拒绝门控下的 20K-step 稳定异步 LLM RL 。 这项发现背后的关键，是区分异步训练中的两种偏差： kernel mismatch 很难控制，而内核对齐后的 weight lag 可以交给普通 IS 纠正。 图 1：R1-Distill-Qwen-1.5B 的推理能力与 rollout-to-learner KL。左图为 8K 回答预算下五项数学基准的平均 pass@1；右图为采样估计的 KL。内核对齐后，lag 2 和 lag 8 的训练持续到 20,000 次策略更新，KL 保持平稳，推理能力继续提升。 标准内核下，Async IS 的 rollout-to-learner KL 达到了初期的 83.33 倍 。采用 TII 后，lag 2 和 lag 8 的两条训练轨迹都持续到了 20K，最终五项基准平均 pass@1 分别达到 51.10% 和 50.93% 。 为什么相同的 IS 修正，表现会有这么大的差别？需要先把概率比拆开。 异步训练中，rollout worker 使用版本为 的模型生成数据，learner 已经更新到了版本 ，policy lag 就是 。固定同一个 token 历史，记 为当前 learner 的策略， 为 learner 使用旧权重计算的策略， 为 rollout 实际使用的采样策略。三者满足： 第一项来自 权重版本不同 。当每次策略更新较小时，它沿着策略优化轨迹逐步变化。 第二项来自 数值执行不同 。即使使用相同权重、相同 token 历史，rollout 和 learner 也可能因为 batch 组成、prefill/decode 路径、算子实现和浮点计算顺序的不同，给出不同的 token 概率。这部分偏差会随执行条件变化，并不会因为权重同步就自动消失。 TII 的目标，是让相同权重和历史下的 rollout 与 learner 产生一致的 token 概率。通过 batch-invariant kernels 和匹配的前向计算，消除上式中的 kernel-mismatch 项，再由普通 IS 处理剩余的 weight lag。 图 2：左侧示意较平滑的 weight lag 与随执行条件波动的 kernel mismatch；右侧展示 batch 平均 IS 诊断量 $D_3$ 的峰值/中位数比，纵轴为对数尺度。标准内核为 442.54，对齐内核为 1.50。 IS 系数由 log-probability 差的指数给出： 因此，概率偏差进入 IS 后会通过指数映射影响权重。实验中的 用来衡量重要性权重偏离 1 的程度：标准内核下，它的 batch 平均值出现很大的尖峰；对齐后，峰值