#817.Anthropic技术人员：你的旧提示词正在让AI变差

📝 本期播客简介

本期我们克隆了：AI Engineer · Your Old Prompts Are Making Claude Worse - Lance Martin, Anthropic

原内容更新时间：2026-11-06

同一个客服 benchmark，优化工具把成本降了 90%，表现还明显提升。Lance Martin 说，很多应用其实没达到前沿模型本来能达到的水平，问题可能只是 prompt、缓存或评测配置没调好。

Lance Martin 是 Anthropic 技术人员。这一集从删掉过时 prompt 指令、提高 prompt 缓存命中率，讲到怎样设计能让 Claude 持续优化的 eval；他还展示了用不同模型和 effort 配置降本的例子，以及长时间运行的 agent 如何做到可靠、可恢复并保护机密信息。

👤 本期嘉宾

Lance Martin 是 Anthropic 的技术人员，参与构建 Claude API 相关的 skill，并用客服 benchmark 测试 prompt 和模型配置。他还介绍了用于构建 eval、爬山优化和长时 agent 的实践，分享如何让前沿模型在实际应用中提升表现、降低成本。

⏱️ 时间戳

调好提示词与缓存

01:24 prompt 和代码一样，也会积累债务

评测与爬坡优化

07:13 prompt 缓存没用好，成本最多可降 72%

09:49 eval 里的歧义任务，会限制模型提升空间

构建可靠的长时智能体

18:43 Claude Opus 3 只能自主工作约 4 分钟

20:30 会话日志独立保存，故障后还能恢复

评测设计与评分问答

24:29 Claude 能从运行日志中找出可疑失败案例

29:48 评分标准尽量明确，最好用二分类

Effort、长任务与优化实践

37:42 更强模型低 effort，通常更省 token

52:10 长任务优化需要能稳定运行数小时甚至几天的 harness

🌟 精彩内容

💡 旧 prompt 可能让 Claude 更贵也更差

以前常用的“一步一步思考”“再检查一遍”和“尽可能全面”，对前沿模型可能已经多余；互相矛盾的规则还可能把模型搞糊涂。Lance 说，删掉这些反模式，有机会同时减少 token、提高表现。

"更糟的是，这么做实际上会增加成本，还可能降低表现。"

💡 缓存用对，最多省下 72%

多轮 agent 会反复带上相同上下文，但 prompt 缓存要求前缀严格匹配，哪怕只改一个字节也可能失效。Lance 和同事在一批内部 benchmark 上运行诊断命令，发现成本最多能降 72%，性能没有明显变化。

"优化 prompt 缓存不会改变性能。基本上就是白省成本。"

💡 Claude 能把 skill 从 66% 往上优化

Lance 用文档构建 eval，测试一个 Claude API skill，起步时只答对 66%。Claude Code 反复检查失败案例并修改 skill 文本，找到了更贴合文档的版本。

"Claude 可以自主找到合适的 skill 文本，让评测表现显著提升。"

💡 成本降 90%，性能还提升

在客服 benchmark 上，爬山优化工具尝试不同模型、effort 和 prompt 配置：先换模型，再调整 prompt 恢复表现。最终成本下降 90%，性能仍有明显提升。

"成本降低了 90%，性能还有明显提升。"

💡 强模型低 effort，可能比弱模型高 effort 更便宜

Lance 建议先试更强的模型搭配低 effort，再按需要调高。弱一些的模型如果用高 effort，可能花大量 token 思考；更强的模型用低 effort，思考 token 更少，结果也可能更好。

"更好的模型用低 effort，往往比弱一些的模型用高 effort 更省 token，所以更便宜。"

💡 长时 agent 出故障，也要能接着跑

agent 运行数小时甚至几天，harness 或沙箱都可能出故障。Managed Agents 把会话日志与二者分开保存，故障后可以恢复；机密信息也由保险库保管，Claude 能调用密钥却看不到密钥本身。

"无论 harness 还是沙箱出了故障，你总能通过会话日志恢复。"

🌐 播客信息补充

本播客采用原有人声声线进行播客音频制作，也可能会有一些地方听起来怪怪的

使用 AI 进行翻译，因此可能会有一些地方不通顺

如果有后续想要听中文版的其他外文播客，也欢迎联系微信：iEvenight