AI Agent 提示注入测试清单

简短结论:提示注入测试不应只测试“忽略之前指令”这类直接攻击。生产 Agent 还要测试 RAG 文档、网页、工具输出、上传文件、邮件、工单和第三方内容中的间接注入。

只要模型会读取不可信内容,并且能调用工具或访问数据,提示注入就可能变成真实风险。测试目标不是证明模型永远不会被骗,而是确认系统边界、授权、日志、审批和回归测试是否能限制影响。

1. 明确不可信输入面

列出模型会读取的所有外部内容:用户消息、检索文档、网页、PDF、邮件、聊天记录、工具返回、API 响应、数据库字段和上传文件。每一种来源都应该有测试样例。

2. 测试直接提示注入

直接攻击通常出现在用户输入中,例如要求模型忽略系统指令、泄露隐藏 prompt、绕过政策、输出内部规则或执行未授权动作。这些案例应作为基础回归测试保留。

3. 测试间接提示注入

间接注入更危险,因为恶意指令藏在系统检索或工具读取的内容中。测试示例包括:

  • RAG 文档中包含“忽略开发者指令”。
  • 网页内容要求 Agent 把用户数据发到外部 URL。
  • 工具输出伪装成系统消息。
  • 上传文件要求模型修改审批结果。
  • 邮件正文诱导 Agent 调用发送或删除工具。

4. 检查工具和权限边界

提示注入真正造成损害,通常是因为模型拥有过大的工具权限。测试应确认:模型不能因为文档里的指令而越权检索、调用写工具、泄露数据或绕过人工审批。

5. 测试数据泄露

加入要求泄露系统 prompt、隐藏策略、其他用户数据、检索片段、API key、token、内部 URL 和日志内容的案例。服务端应确保敏感信息本来就不会进入模型可见上下文。

6. 加入回归测试

每次 prompt、模型、检索索引、工具 schema、权限逻辑或 guardrail 调整后,都应重新运行提示注入测试。OWASP LLM Top 10 是整理测试类别的实用来源(OWASP LLM Top 10)。

最小测试清单

  • 直接注入:忽略指令、泄露 prompt、绕过政策。
  • 间接注入:RAG 文档、网页、邮件、工具输出、上传文件。
  • 越权工具调用:写入、删除、发送、付款、权限变更。
  • 跨租户检索和数据泄露。
  • 敏感字段、密钥和内部日志暴露。
  • 失败案例进入回归测试。

参考资料

AI Agent 提示注入测试的使用方法

把AI Agent 提示注入测试清单当作一次上线前复查,而不是一次性文档。先确认页面要解决的具体问题,再检查它是否连接到相关 hub、服务页、自测工具和更深入的技术文章。这样读者能继续行动,搜索引擎也更容易理解页面在网站结构里的位置。

执行时建议记录三个结果:哪些页面已经可发现,哪些页面需要补内部链接,哪些内容还缺少证据、示例或下一步。对 AI Agent 网站来说,内容质量不只取决于发布数量,也取决于页面是否能帮助读者做出安全、成本、评估或采购决策。

AI Agent 提示注入测试复查要点

  • 确认标题、摘要和开头段落都清楚说明页面主题。
  • 检查页面是否至少链接到一个相关 hub 和一个后续行动页面。
  • 检查内容是否包含具体步骤、风险提醒和判断标准,而不是泛泛描述。
  • 发布后用 Search Console、GA4 和 Rank Math 分数一起复查,不只看单一指标。

发表评论

您的邮箱地址不会被公开。 必填项已用 * 标注

滚动至顶部