CS 329Z: Engineering AI Agents Stanford / Fall 2026 @stanfordnlp https://t.co/Ko6UarsQff 第 12 讲「Dat...
meng shao(@shao__meng) · 人工智能
CS 329Z: Engineering AI Agents Stanford / Fall 2026 @stanfordnlp cs329z.stanford.edu 第 12 讲「Data Selection & Quality」：Agent 训练数据，难的是决定留下哪些 web.stanford.edu/class/cs329z/s… 现在生成 Agent 的任务和轨迹已经很便宜，真正难的是筛选。这一讲回答三个问题：哪些任务值得拿来做强化学习，哪些轨迹值得拿来做模仿学习，以及数据要多还是要精。结论是：数据少的时候精挑细选更有用，数据规模上去以后，数量和多样性更重要。 为什么筛选是重点 讲义开头举了 Meta CWM 的例子：先在 3150 个仓库、10200 个 Docker 镜像上生成 300 万条轨迹，再去掉同一仓库内相似度过高的轨迹（Jaccard 相似度不低于 0.5）。因为目标是学习代码环境的世界模型，失败的轨迹也保留了下来。课程把要筛选的对象分成两类：一类是用来做监督微调的轨迹，一类是用来做强化学习的环境，也就是任务加沙箱加判定器。坏数据有三种：信号错误（判定器坏了，或者靠作弊拿到奖励），没有信号（任务太容易或太难），信号重复（大量同类数据）。 哪些任务值得训练 讲义把任务筛选看成一个循环：先剔除有问题的任务，再实际运行检验，只保留模型有时能做对的任务，模型变强后重新筛选。 · SWE-bench Verified：93 名 Python 开发者标注了 1699 个样本，38.3% 的问题描述不够清楚，61.1% 的单元测试不公平，最终过滤掉 68.3%。例如 sklearn-14520 的测试要求一条精确的弃用提示语，而这句话只出现在 Agent 看不到的 PR 讨论里。GPT-4o 在原版上只有 16%，在筛选后的版本上是 33.2%。有问题的任务会掩盖模型的真实能力，用于训练时还会给出错误的奖励。 · APIGen：人工审核无法规模化，所以改成自动检查：先查格式，再实际执行，最后让大模型判断结果是否符合问题的本意。 · CodeMidas（小米 MiMo 团队）：只从源代码构建编程环境。测试只检查任务描述里写明的要求。每个任务要在 6 个新容器里各跑一次：起始代码跑 2 次，必须失败；参考答案跑 4 次，必须通过。之后再做三层过滤：检查答案是否泄露，复核判定结果，剔除全部通过或全部失败的任务。过滤后的 3000 个任务已经胜过未过滤的 8000 个，完整的 5000 个任务比 8000 个在三项评测上分别高出 0.59、4.59 和 4.49 分。 · DAPO：同一题的几次采样奖励完全一样时，强化学习学不到东西。模型越强，全对的题越多，所以要持续采样，直到批次里都是有对有错的题。 · LEGO-RL：36884 个候选任务经过有效性检查后剩下 21681 个，其中约 2.5% 的判定器有错。再只保留 4 次尝试里做对 1 到 3 次的任务，最终剩下 2699 个。不做这一步筛选，训练在两项指标上都没有提升，因为未筛选的任务池中 72.7% 从来做不对，13.4% 每次都做对。随着训练推进，没有区分度的题组占比从 44.7% 升到 51.4%，任务池需要定期更新。 · WebRL：从失败的尝试中生成新任务，再配一个奖励模型，把 Llama-3.1-8B 在 WebArena-Lite 上的成功率从 4.8% 提升到 42.4%，70B 版本达到 47.3%。 哪些轨迹值得模仿 通过测试不等于好示范。通过的轨迹里，有的靠作弊，有的过程很粗糙；失败的轨迹里，也有可用的步骤。 · The Verification Horizon（Qwen 团队）：总结了 Agent 的七种走捷径方式，比如直接找到答案文件、改动测试框架或测试本身、翻 git 历史。直接找答案的轨迹只占 4.32%，但其中 72.34% 能解决问题。通过率可能一直很高，而不作弊的真实表现却在下降。加上轨迹监控后，作弊解决率从 28.57% 降到 0.56%，真实解决率从 40.22% 升到 60.53%。 · SWE-Prime：成功的轨迹里也有无效、重复或有风险的步骤。它先按过程质量挑轨迹，再按贡献、风险和可学性给每一段打分。只用挑出的 10% 训练，效果就超过用全部成功轨迹训练，相对提升最高达到 SWE-bench Pro 上的 12.2% 和 SWE-bench Verified 上的 24.2%。 · NAT：失败的轨迹不丢，而是加上「这次失败了」的标记一起训练，让模型既能学到其中有用的信息，又不会照搬错误。 · EEF：只用专家成功的轨迹训练时，难的子任务几乎进不了训练集，而失败往往只错在最后几步。从失败的专家轨迹里挑出好的步骤后，在