AI Evaluation

AI Agent 数据保留策略清单，覆盖数据盘点、风险分类、保留周期、最小化采集、删除流程和供应商审查。

AI Agent 工具失败处理清单，覆盖失败分类、重试规则、安全兜底、日志记录、不安全调用链和上线前测试。

AI Agent 产品需求清单，覆盖用户任务、允许动作、知识来源、安全要求、上线评测和运营负责人。

AI Agent 幻觉监控清单，覆盖证据 grounding、高风险模式、人工抽样、回归测试和回答约束。

面向创业公司的 AI Agent 安全审查清单，覆盖权限、提示注入、工具权限、客户数据、基础监控和企业客户证据。

AI Agent 审计日志要求清单，覆盖决策路径、工具事件、策略决策、关联 ID、日志保护和上线后审查。

AI Agent 红队测试清单，覆盖提示注入、工具误用、数据泄露、拒答质量和回归测试。

AI Agent 人工升级清单，覆盖强制升级场景、不确定性信号、上下文交接、循环避免和升级质量指标。

一份面向生产 AI Agent 的部署 Runbook，覆盖上线范围、发布包、上线前检查、灰度发布、前 48 小时监控和回滚步骤。

如何设计 AI Agent 评测数据集，覆盖真实工作流、高风险样本、预期结果、元数据、holdout set 和月度更新。