把 Agent 的失败变成可诊断、可迭代的问题 Turning scattered agent failures into actionable workflow improvements.

Agent 在真实 terminal task 中执行任务，生成代码、运行命令、处理报错并产出结果。

读取任务、操作环境、尝试实现和自检。

关注任务目标是否被正确理解，以及执行过程是否偏离验收要求。

benchmark verifier 判断任务是否通过，但 pass/fail 本身不解释失败原因。

返回验收结果、测试失败信息或运行异常。

不把 fail 当成终点，而是把它作为诊断入口。

从失败 runs 中抽取关键轨迹、错误信息、输出产物和 verifier 反馈。

提供运行轨迹、命令结果、错误输出和工件状态。

筛选能代表问题模式的失败案例，避免被单个偶然错误带偏。

人工复核失败案例，判断失败发生在模型理解、环境、契约、调试策略还是评测边界。

暴露可观察证据，但不替代最终归因。

建立人工判断标准，避免把环境或评测问题误判成模型能力问题。

将失败归入可比较的类别，例如 contract mismatch、environment failure、debug loop drift、task meaning error。

辅助整理 evidence pack 和候选诊断标签。

把分散失败变成可统计、可复查、可讨论的诊断标签。

根据集中失败类型决定下一轮优化 prompt、tool protocol、environment constraint、post-run check 或 verifier boundary。

执行修订后的流程并产生下一轮可比较结果。

把诊断结果转化为具体 workflow 调整，而不是盲目换模型或继续试错。