NeurIPS 2026 | 从「先出题」到「先探索」：重新思考 Tool-Calling Agent 的训练数据合成

📌 一句话摘要

文章介绍了 Firefly 方法，通过反转训练数据合成流程——先在真实 MCP Server 上探索后再出题，从而构建出规模化、真实且可验证的 Tool-Calling Agent 训练数据集，验证了该方法在提升小模型性能方面的有效性。

📝 详细摘要

文章聚焦于 Tool-Calling Agent 训练数据的三个核心困境：规模、真实性与可验证性。现有方法要么人工标注可靠但难以规模化，要么纯模拟环境可扩展但偏离真实 API，又或前向合成真实却缺乏可验证的 ground truth。为此，作者提出了 Firefly 方法，核心是反转合成流程：先在真实 MCP Server 上进行探索，获取实际可达的状态，再围绕这些观察结果反向合成任务。整个 pipeline 包括 MCP Server Collection、Tool Graph 构建、DAG Exploration、Back-Chaining Task Synthesis 以及 Retrieval-Augmented Tool-Call Simulator。最终构建了覆盖 240 个 server、993 个工具的 5，144 个可验证任务。实验表明，基于 Firefly 数据集训练的 4B 模型在 held-out 测试集上将 pass@1 从 28.1% 提升至 41.5%，并在多个公开 benchmark 上均取得正向提升。

💡 主要观点

1. Firefly 通过反转合成流程，先在真实 API 上探索后再出题，确保 ground truth 的正确性由数据生成方式本身保证。 传统 Forward Generation 先出题后求解，导致任务可能不可达或答案错误。Firefly 的 Back-Chaining 方法让 ground truth 从真实工具实际返回的状态中提取，避免事后过滤，实现从「需要过滤才能获得」到「生成即正确」的范式转变。
2. 构建了覆盖 240 个 server、993 个工具的 Firefly 数据集，包含 5，144 个可验证任务。 通过四维筛选标准（Statelessness、No User Authentication、Schema Clarity、Non-Triviality）从 3，000 个 server 中筛选出合适的工具；利用 Tool Graph 提供语义先验，在真实 server 上进行 DAG Exploration；最终通过 LLM Judge 验证任务质量，确保可验证性。
3. Retrieval-Augmented Tool-Call Simulator 让 RL 训练完全离线且可复现。 缓存探索阶段的所有 tool call 响应，采用三层策略（Exact Match、Fuzzy Match with LLM Generation、No Data）处理 Agent 的调用，保证训练环境的可复现性和可验证性，摆脱对 live API 的依赖。
4. 4B 模型在 Firefly 测试集上提升显著，同时在公开 benchmark 上均取得正向提升。 pass@1 从 28.1% 提升至 41.5%（接近 Claude Sonnet 4.6），pass@8 达 52.8%，pass@16 达 57.0%。在 Tau2-Bench 等公开 benchmark 上也均有提升，表明模型不仅记住缓存轨迹，还学到了可迁移的 tool-use 能力。

💬 文章金句

• 我们认为：与其先出题、再寻找答案，不如先在真实 API 上探索，再根据已经观察到的结果反向出题。
• ground truth 的正确性从「需要过滤才能获得的结果」，变成了「数据生成过程的构造性质」。
• Back-Chaining 保证了 ground truth 在生成时是正确的，但如果训练时 API 的返回已经发生变化，这个 ground truth 就可能不再与环境一致。
• 整个数据集使用 Claude Sonnet 4.5 通过 AWS Bedrock batch inference 生成，共消耗约 23.5B tokens，总成本约 $47K。
• Firefly RL 将 Qwen3-4B 的 pass@1 从 28.1% 提升到 41.5%（+13.4 points），与同一评估协议下的 Claude Sonnet 4.6（42.2%）基本相当。

📊 文章信息

阅读完整文章