RAG 生产监控清单：检索、Grounding、新鲜度和成本

RAG 生产监控不同于普通应用监控。RAG 系统可能返回一个很快、格式很好、但完全错误的答案，因为检索到了错误文档，或答案没有被检索上下文支持。

这份清单覆盖 RAG 助手或 AI Agent 上线后应该监控的关键信号。

Contents hide

1. 检索质量

跟踪检索器是否为真实用户问题找到了有用文档。可用指标包括无结果率、低分检索率、重复 chunk 率、过期文档率，以及答案使用批准来源的比例。

好的 RAG 答案应该被检索上下文支持。监控无依据声明、缺失引用、引用不匹配，以及引用了文档但声明并不被文档支持的情况。上线前测试可参考 RAG Evaluation Checklist。

很多 RAG 失败来自过期内容。监控文档年龄、失败的索引任务、已删除页面仍出现在索引中，以及策略文档修改后未重新索引。高风险领域应在答案或后台显示来源日期。

RAG 系统不应该回答所有问题。跟踪 Agent 何时表示不知道、何时请求澄清、何时升级给人工。拒答率很低不一定是好事，也可能表示系统在猜。

检索文档和用户消息都可能包含试图覆盖系统提示词的指令。监控可疑短语、检索内容中的工具调用要求，以及答案是否遵循了文档中的恶意指令。可使用 AI Agent 提示注入测试清单。

监控系统是否真的有帮助。跟踪完成任务、被拦截的工单、重新打开的工单、用户纠正、差评、客户投诉和人工审核覆盖。搜索相关性指标本身不能证明业务价值。

RAG 系统如果检索过多 chunk，或对简单问题使用过长上下文，成本会快速上升。跟踪每个答案的 token、检索延迟、生成延迟、缓存命中率和每个成功答案成本。

使用 AI Agent 上线前自助初评判断你的 RAG 系统是否具备足够的评估和监控覆盖。

把RAG 生产监控清单：检索、Grounding、新鲜度和成本当作一次上线前复查，而不是一次性文档。先确认页面要解决的具体问题，再检查它是否连接到相关 hub、服务页、自测工具和更深入的技术文章。这样读者能继续行动，搜索引擎也更容易理解页面在网站结构里的位置。

执行时建议记录三个结果：哪些页面已经可发现，哪些页面需要补内部链接，哪些内容还缺少证据、示例或下一步。对 AI Agent 网站来说，内容质量不只取决于发布数量，也取决于页面是否能帮助读者做出安全、成本、评估或采购决策。