人大&美团2篇Agent自进化新范式，很惊喜
PaperAgent · 人工智能
PaperAgent 2026-11-06 11:47 湖北 大家好，我是PaperAgent，不是Agent！ 随着LLM迈向 通用Agent ，动态交互与自主决策日益重要。从失败中提炼可迁移经验，经训练内化出 主动反思与自我修正 的 进化 能力，是提升其长程交互可靠性的关键。 中国人民大学与新加坡国立大学提出 Agent-Reflex ，将反思建模为可学习的元技能；美团提出 ReflectPO ，用强化学习把自主纠错变成能力。 2篇论文指向一个核心：让 Agent 在执行过程中自己发现错误、自己从错误里恢复，持续进化。 一、Agent-Reflex：将反思建模为可学习的元技能 Agent-Reflex 由三个核心模块构成： 环境反思技能发现（RSD） 在可执行环境中注入源于真实工具错误的扰动，从多模型的成功—失败轨迹对中提炼反思技能； 反思监督微调（ReSFT） 围绕局部修复、全局恢复与用户纠偏构建可验证的训练数据，将技能融入模型参数； 同策略反思策略优化（ORPO） 结合噪声环境强化学习与技能引导的同策略蒸馏，进一步强化智能体的主动反思行为。 Agent-Reflex 图1：真实噪声交互 最终，Agent-Reflex 在 557 个环境 中提炼出 1,170 项反思元技能 ，构建约 5.4 万条监督训练轨迹 。基于 Qwen3-8B，模型在五项长程工具使用基准上的 Overall 达到 58.6 ，在 AgentNoiseBench 上达到 29.1 。 code，model，dataset已开源： https://github.com/RUC-NLPIR/Agent-Reflex 从执行失败中提炼可复用经验 Agent-Reflex 从真实工具错误出发，构建包含交互扰动的可执行环境，并通过成功与失败轨迹的对照，将执行经验提炼为可复用的反思元技能。 Agent-Reflex 图2：反思技能发现 研究团队从公开智能体基准的交互中收集 177,700 条工具返回 ，其中包含 24,510 条错误返回 ，并归纳为八类典型故障。系统将与当前工具兼容的错误注入反馈，保留能够验证任务完成与失败恢复的样本，使训练覆盖真实交互中的不确定性。 系统使用来自五个模型家族的九个模型采样轨迹，在同一任务内匹配成功和失败轨迹，识别反复出现的错误模式，并总结对应的诊断依据与恢复动作。 一次执行中的教训，由此转化为可复用的操作规则。 ReSFT 与 ORPO：把恢复经验融入策略 获得反思技能库后，Agent-Reflex 通过三类可验证的恢复轨迹，将显式经验转化为模型能够自主执行的反思行为。 Agent-Reflex 图3：ReSFT 数据构建 自我反思采样（SR） 定位失败轨迹中的首个错误回合，从错误动作执行前的状态继续执行； 技能恢复采样（KR） 将环境重置到初始状态，让模型结合反思技能重新生成完整轨迹； 用户中心反思采样（UR） 将反思技能转写为自然语言纠正消息，引导模型完成后续任务。三类策略分别对应 局部修复、全局重规划与用户纠偏 。 在 ReSFT 建立初始能力后，ORPO 进一步结合噪声环境强化学习与技能引导的同策略蒸馏。最终， 轨迹级任务奖励与词元级反思监督 共同优化模型，使其在自身交互中持续学习恢复与纠错。 Agent-Reflex 图4：ORPO 训练框架 六套基准检验长程工具使用与噪声交互能力 Agent-Reflex 以 Qwen3-8B 为基础模型，在 VitaBench、τ²-Bench、BFCL V4、ACEBench、ToolSandbox 与 AgentNoiseBench 上评估。 Agent-Reflex 表1：工具使用基准结果 Agent-Reflex-8B 的 Overall 达到 58.6 ，较 Qwen3-8B 的 40.2 提升 18.4 分 ，较 EnvScaler-8B 提升 7.7 分 ，较 Agent-World-8B 提升 5.0 分 。面对工具与用户两侧的扰动，Agent-Reflex 的 Overall 达到 29.1 ，在表中比较的 8B 方法中取得最高整体得分。 Agent-Reflex 表2：噪声交互基准结果 二、ReflectPO：先找到该反思的位置，再从那里重新出发 长时程任务的困难不只是步骤多。每一步工具调用都会返回观测、改写环境状态，错误因此具有 放大效应 。自然产生的交互轨迹里其实已经藏着反思信号：不同轨迹的分支差异说明局部行为值得复核，单条轨迹的重复访问则说明模型陷入了循环。 ReflectPO 先把交互过程切成 交互节点 ，在末尾保存环境快照，以便从该位置继续执行。 对比式采样 把同一任务的多条轨迹组织成前缀树，选一条走得最差的目标轨迹和一条更好的参考轨迹，生成反思提示