假设你做了一个能管理待办的 AI 助手。用户说“把周五的采购提醒改到周六”，助手回复“已调整”。如果评测只检查回复中有没有“已调整”，即使实际待办完全没变，也可能得到一个漂亮的通过结果。
这篇以假设产品说明一种评测起步方法，没有真实线上成功率，也没有模型排名。我的建议是：先为一次任务写出可以核对的最终状态，再评价回复是否清楚。
资料里最值得保留的一组区别
Anthropic 在《Demystifying evals for AI agents》中区分任务、重复试次、执行记录和最终环境结果，并建议尽可能使用确定性检查，必要时结合模型与人工评分。文中也强调独立初始化每次试验，防止残留状态干扰结果。这些是方法建议，不意味着采用某个框架就自动获得可信评测。
应用到待办助手，我会把成功条件拆成三项：目标待办确实改到用户指定日期；其他待办没有被误改；回复准确描述已经发生的修改。前两项查状态，第三项看表达。不能让流畅的回复补偿错误的数据修改。
先造一条能判定对错的任务
任务输入可以写成：测试环境中有两条采购提醒，一条属于家庭清单，一条属于工作清单；用户只指定家庭清单和确切日期。预期结果应写明目标记录 ID、原日期、新日期，以及其他记录保持不变。
再增加一个对照任务：用户只说“把采购改到周六”，同时两条都可能匹配。此时成功行为可以是请求澄清，且不修改任何记录。这样才不会把“总是立即执行”优化成表面上的高完成率。
另一条对照是用户要求的日期已经是当前日期。产品应先决定这是无须修改还是仍要更新某些字段；评分规则跟着约定走，而不是事后挑对模型有利的解释。
重复运行时，不挑最好看的一次
我建议起步时把固定任务各跑几次，保留所有结果。这个次数只是排查波动的工作安排，不足以证明生产可靠性。
每条记录至少保留：任务版本、模型与配置、工具版本、初始数据版本、最终状态、失败类别、耗时，以及能取得的用量信息。每轮从同一个初始状态开始，否则第一轮已经改完日期，第二轮面对的其实是另一道题。
报告时同时写出任务数与试次数。例如“十个任务，各三次，共三十次”比只写“通过率九成”更可审查；这个例子只是报告格式，不是我的测试结果。还要说明成功判据、哪些失败来自测试环境，以及是否存在遗漏记录。
三类失败，三种修法
假设出现了失败，先读执行记录，再归类：
- 目标选错：检查输入是否歧义、工具返回信息是否足够，以及是否应先澄清。
- 工具调用正确但状态未改变：检查执行结果与接口错误处理，不能仅改提示词碰碰运气。
- 状态正确但评分失败：检查评分器是否强制要求一种无关紧要的回复措辞，误伤了有效答案。
如果引入另一个模型评价“回复是否易懂”，先给它明确量表，例如有没有说清对象、日期、未完成事项，并抽样与人工判断对照。最终数据是否正确，能直接读取时就直接检查，没必要再请模型猜一次。
一张可以复制的评测卡
任务与版本：____
初始状态：____
用户输入：____
允许的修改：____
必须保持的内容：____
需要澄清的条件：____
成功判据与检查方式：____
每次运行的环境重置方式：____
失败证据与修复后复跑结果：____
先把一个高频任务的边界写清楚，再把真实反馈转成新用例。对独立开发者而言，这张卡的第一份收益，是提前发现产品需求里那些还没有决定的细节。
资料：Anthropic《Demystifying evals for AI agents》https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents ，发表于 2026-01-09，查阅于 2026-11-05；这是已有工程文章，并非今日新闻。待办场景、对照任务与评测卡为本文自行推演。
