AI Agent 变更管理清单：上线前如何控制 Prompt、模型和工具变更

AI Agent 变更管理是指在提示词、模型、检索、工具、策略和工作流变更进入生产环境之前，对它们进行控制、测试和审批。它很重要，因为即使应用代码没有变化，Agent 仍然可能因为模型版本、系统提示词、检索过滤条件或工具权限变化而发生回归。

这份清单适合已经在试点或生产环境运行 AI Agent 的团队，用来降低上线变更给客户带来意外行为的风险。

1. 对每一次 Agent 变更分类

不要把所有 AI 变更都当成同一种风险。帮助文案的小修改通常风险较低；新增一个可以写入客户数据的工具则是高风险。建议至少分成四类：

• 内容变更：提示词措辞、语气、示例、拒答文案。
• 知识变更：文档、检索设置、排序、分块策略。
• 模型变更：模型供应商、模型版本、路由规则、temperature、上下文长度。
• 动作变更：工具权限、审批门禁、写入能力、外部 API 范围。

2. 审批前必须有测试计划

所有中高风险变更都应该包含回归测试计划。至少要测试任务成功率、不安全输出、幻觉、工具误用、成本、延迟和拒答质量。可以把 LLM 应用回归测试集作为基线。

3. 保留真实用户任务黄金集

最好的测试用例通常来自真实使用。保存匿名化的成功任务、失败任务、困惑用户、提示注入尝试和人工升级案例。每次重要发布前都运行这些案例。

4. 使用分阶段发布

对于重要变更，不要第一天就全量发布。先给内部用户，再给少量生产流量，然后逐步扩大。监控错误率、fallback 率、人工升级率、工具调用失败率和每个完成任务的成本。

5. 上线前定义回滚方式

如果团队不能快速撤回变更，这个变更就还没有准备好。回滚应覆盖提示词、模型路由、检索配置、工具权限和 feature flag。相关操作模型可参考 AI Agent Rollback Checklist。

6. 记录证据

保留简短发布记录：变更了什么、为什么变更、谁批准、哪些测试通过、还有哪些风险、如何回滚。这些记录在审计、客户安全评审和事故调查中会非常有用。

建议下一步

如果团队还没有这个流程，先运行 AI Agent 上线前自助初评。如果需要更深入的证据审查，使用 AI Agent 上线前生产就绪审计。