AI Agent 评测数据集设计是把真实用户需求、高风险工作流和预期行为转化为可重复测试用例的过程。好的数据集不是一组 Prompt，而是生产中 Agent 必须做出的真实决策样本。
1. 从真实工作流开始
从客服工单、销售对话、内部运营、产品分析和人工审核队列中收集样本。每个样本都应该对应 Agent 上线后实际会处理的工作流。
2. 同时覆盖正常和高风险场景
如果数据集只包含简单的 happy path，评测会高估就绪度。应加入模糊请求、缺失上下文、冲突文档、恶意指令、敏感数据、工具失败和升级场景。
3. 定义预期结果
每个用例都要说明什么是好结果。预期结果可以是正确回答、安全拒答、工具调用、澄清问题，或升级给人工。
4. 为每个样本添加元数据
- 工作流名称。
- 风险等级。
- 所需知识来源。
- 允许或禁止的工具。
- 预期行为。
- 错误时的失败类别。
5. 区分测试集和调优集
不要直接用最终评测样本调 Prompt。保留稳定的 holdout set，团队才能判断修改是否真的提升了 Agent 行为。
6. 每月刷新数据集
生产流量会变化。新产品、新政策、新边界案例和新客户异议都会出现，应持续从用户对话和事故复盘中补充样本。
建议下一步
把数据集设计与 RAG 评测清单和小规模人工审核流程结合起来。
AI Agent 评测数据集设计的使用方法
把AI Agent 评测数据集设计：从真实工作流到可重复测试当作一次上线前复查，而不是一次性文档。先确认页面要解决的具体问题，再检查它是否连接到相关 hub、服务页、自测工具和更深入的技术文章。这样读者能继续行动，搜索引擎也更容易理解页面在网站结构里的位置。
执行时建议记录三个结果：哪些页面已经可发现，哪些页面需要补内部链接，哪些内容还缺少证据、示例或下一步。对 AI Agent 网站来说，内容质量不只取决于发布数量，也取决于页面是否能帮助读者做出安全、成本、评估或采购决策。
AI Agent 评测数据集设计复查要点
- 确认标题、摘要和开头段落都清楚说明页面主题。
- 检查页面是否至少链接到一个相关 hub 和一个后续行动页面。
- 检查内容是否包含具体步骤、风险提醒和判断标准，而不是泛泛描述。
- 发布后用 Search Console、GA4 和 Rank Math 分数一起复查，不只看单一指标。