
给 AI agent 加个夜间复盘
周末折腾了一下给 agent 加夜间复盘,踩了不少坑。这周 Hacker News 上有个项目,说给 AI agent 加睡眠周期,它会在空闲时复盘错误。听起来玄,工程上没那么神秘。agent 是会调用工具、会记日志、会执行任务的大模型程序。夜间复盘是让模型白天干活,晚上读白天留下的记录,把重复错误整理成规则。
两个方案,手动总结和夜间复盘。
先对比两种做法。
方案一,白天结束,打开 Claude,输入下面这句。
请读取最近会话,总结我让你做错的地方,给出改进建议。
我一开始就这么做。结果很轻,它会写一段漂亮话,但没有文件,没有证据,过两天我还是忘。
方案二,设一个只读复盘任务,晚上自动收集日志,第二天让模型生成报告和补丁建议。日志是程序留下的记录,补丁是可审核的改动建议。
我这边跑了两个晚上,用 Claude 大约一个月,觉得方案二才接近产品。公开测试里提到 18 个重复任务、4 小时复盘后出现大约 5.4 倍改善。这个数我保持怀疑,但方向对,复盘必须进入工作流,不能只是聊天。
从 0 到 1,搭一个只读梦境。
假设你有一台电脑,一个代码项目。下面按 macOS 或 Linux 写,Windows 可用任务计划程序。
1. 打开终端,进入项目目录。输入 cd ~/projects/demo-agent。看到提示符变成项目名,说明进去了。
2. 新建复盘目录。输入 mkdir -p .agent/dream/inputs。看到没有报错就是成功。
3. 新建提示词模板。输入 nano .agent/dream/prompt.md,写入下面内容。
- 只读分析,不要修改代码。
- 输入文件在
.agent/dream/inputs/。 - 输出三个文件,分别是
report.md、rules.md、todos.md。 - 每条结论必须引用文件名或日志编号。
按 Ctrl + O 保存,Ctrl + X 退出。预期目录里能看到这个文件。
4. 收集证据。新建 nightly_review.sh,里面写。
运行 bash nightly_review.sh。看到两个 txt 文件,说明证据收集成功。如果你没有日志目录,这一步先拿 git 记录凑合。
5. 让模型复盘。打开 Claude 网页版或桌面端,点击 新建对话,标题写 nightly dream。把 prompt.md、git.txt、diff.txt 粘进去。看到模型开始分析。预期它给你三个代码块。
6. 保存结果。在对话里要求它“只输出文件内容”,然后分别复制保存为 report.md、rules.md、todos.md。不要让它直接改代码。它只能生成规则和建议,你审核后,再决定改哪里。
7. 加定时。输入 crontab -e,加一行。
保存。第二天早上看 .agent/dream/inputs 是否更新。这样脚本会到点自动跑。
踩坑和我怎么改。
第一坑,日志太长。新手容易把全部聊天记录塞进去,模型读不完,还会被旧错误带偏。后来我改成只喂摘要、报错片段、最近一次任务清单。
第二坑,复盘没有证据。模型很会说“以后我会先跑测试”,但没证据就是空话。现在模板里强制它写“来自 git.txt 第几行”“来自 diff.txt 第几个文件”。每条结论都要有证据。
第三坑,自动修复太危险。我试过让它生成补丁,结果它顺手把测试文件删了。后来我加规则,不能删除、不能改权限、不能碰支付和邮箱配置,只能提建议。这个坑很现实,早期 agent 项目如果没权限和日志,我不敢看。
跑下来,我这边两晚输出了一些规则,真正值得合并的不多,但能拦住重复错误。这个创始人我认识,他常说团队执行力是关键。模型变强只是入场券,能把生成结果变成可审计流程,才有壁垒。
下一步可以试,把 rules.md 接到代码合并检查里,让 agent 每次提交前先读规则,但只允许提出评论,不允许自动合并。
夜间复盘的价值是把错误变成可审计的改进流程。
📌 本文编译自 Hacker News,原文 https://github.com/openamer/openamer
版权归原作者所有,本文为基于公开报道的编译与独立分析。
物界前沿