AI Agent 上线前的可观测性问题清单：可观测性不是一张 dashboard 截图。对 AI Agent 来说，可观测性意味着团队能还原 Agent 看到了什么、为什么行动、调用了哪些工具，以及花了多少钱。
能否回放一次坏运行？
如果用户报告错误回答或不安全动作，团队应该能看到 prompt、检索上下文、工具调用、工具参数、模型输出、审批决定和最终给用户的回复。
能否区分模型失败和系统失败？
一次失败可能来自检索、权限、工具超时、过期数据、政策冲突或 prompt 太弱。如果所有失败都被归因成“模型错了”，系统还不够可观测。
有没有跟踪被拒绝的工具调用？
被拒绝的调用很有价值。它说明 Agent 想行动，但被策略、审批或校验拦住了。这往往是未来事故开始的地方。
是否知道每个完成任务的成本？
只看 token 成本不够。要看每个完成任务成本、每次升级成本、重试、工具延迟，以及昂贵调用是否真的改善结果。
谁会收到告警？
告警要映射到负责人。成本突增、工具错误、不安全动作尝试、高升级率和检索失败，不应该都发到同一个泛邮箱。
可复制的分享文案
我会把这篇用于 AI Agent 上线评审：AI Agent 上线前的可观测性问题清单。它把风险拆成可执行检查项，而不是只讲概念。相关资源
下一步
如果这些问题已经影响真实用户或客户数据，先运行 AI Agent 就绪度自测，再把阻塞项整理到上线清单里。