Agent 说“完成了”,不代表过程没问题:从隐藏的弯路中改进工作流 来自 @BHolmesDev (Warp) 在 AI Engineer 的演讲,Ben 的核心提醒:Agent 可能在绕过错误指...

meng shao(@shao__meng) · 人工智能

Agent 说“完成了”,不代表过程没问题:从隐藏的弯路中改进工作流

来自 @BHolmesDev (Warp) 在 AI Engineer 的演讲,Ben 的核心提醒:Agent 可能在绕过错误指令、反复尝试之后完成任务,却只向你汇报最终结果。真正值得改进的问题,往往藏在这些没有被汇报的过程里。
youtu.be/pz74r-4dGfQ?is…

# 成功完成,也可能暴露系统问题

Ben 举了一个案例:测试 Skills 中的端口指令已经过时,Agent 不断试错,最后仍然完成了任务。团队看到的只是“慢了一点”,没有发现应该修正的是 Skills 说明。

因此,复盘不能只看最终答案或代码,还要结合对话、工具调用和代码改动。否则,每次任务看似成功,下一次却仍要重新摸索同一个问题。

# 让评审找问题,再从多次失败中找共因

更合理的流程是:先由团队定义明确的评分标准,例如是否重复测试、工具调用是否高效、表达是否冗长,再让评审 Agent 检查任务记录,并解释扣分原因。

随后,另一个 Agent 汇总这些记录,寻找反复出现的问题,把修复建议变成技能或配置的修改 PR,交给团队审查。

重点不是让每个 Agent 临时变聪明,而是修掉让所有 Agent 反复踩坑的共同原因。

# 反思要变成可审查的修改

Ben 介绍了两种实践:Skill Doctor 用于一次性检查本地历史;Warp Factories 则展示持续评分、定期提出修复建议的工作流。
Tweet Image
Ben Holmes
Ben Holmes@BHolmesDev
My talk on self-improving agents is live on @aiDotEngineer!

I show how you can build a skill + a self improvement loop to have agents review their own work and improve their setup overtime.

Very relevant in a software factory context too

youtu.be/pz74r-4dGfQ?is…
💬13🔄0❤️6👀450📊11

查看原文