企业 AI 系统上线安全验收指南：权限、数据、日志与应急

AI 客服、知识库、智能体和文档审核系统接入真实业务后，会同时涉及账号、内部资料、模型服务、第三方接口与人工审批。任何一个边界没有说明，都可能在上线后形成数据泄露、越权操作或责任不清的问题。

一、先画清系统与数据边界

上线前应列出用户端、管理后台、企业数据库、知识库、模型服务和第三方工具之间的数据流向，明确每一步传输了什么、保存在哪里以及保留多久。

如果采用公有大模型 API，需要确认传输字段、脱敏规则和供应商数据政策；如果采用私有化部署，也要检查模型文件、向量库、备份和运维账号的访问范围。

二、用真实角色验证最小权限

管理员、普通员工、外部客户和系统服务账号承担的职责不同。验收时不能只用超级管理员测试，因为管理员能够访问的内容并不代表其他角色也应该看到。

应分别验证知识库检索、文件下载、对话记录、提示词配置、工具调用和数据导出的权限，并测试跨部门、跨项目和已离职账号是否还能访问历史资料。

三、限制智能体可执行的动作

接入订单、CRM、OA 或财务系统后，AI 不再只是生成文字，还可能查询客户、创建工单、修改状态或发起审批。工具权限必须按业务动作逐项授权，不能让模型直接拥有数据库高权限账号。

查询类动作可以在身份校验后自动执行；涉及付款、删除、对外发送和关键数据修改的动作，应增加参数校验、二次确认或人工审批，并设置单次和每日调用限制。

四、敏感信息进入模型前先治理

客户手机号、身份证、合同金额、账号密钥和内部经营数据不应未经判断直接进入提示词。系统应根据业务场景识别敏感字段，采用遮盖、替换、摘要或拒绝传输等处理方式。

同时要检查对话记录、向量数据、缓存、错误日志和备份文件，因为敏感内容不仅存在于原始数据库，也可能在检索、调试和运维过程中形成副本。

五、让回答和操作都能追溯

出现错误回答或异常操作时，需要知道是谁在什么时间提出了什么请求，系统检索了哪些资料、调用了哪个模型和工具，以及最终返回或修改了什么。

审计日志应记录必要信息但避免再次泄露敏感原文，并设置查询权限、保存周期和防篡改措施。业务人员还应能从回答跳转到引用依据，快速判断内容是否可信。

六、用异常场景验证防护效果

正常问答通过并不等于系统安全。验收样本还应包含越权查询、提示词注入、恶意文件、超长输入、接口超时、模型不可用和第三方返回异常等情况。

重点观察系统是否拒绝危险请求、是否暴露内部提示词、是否重复执行业务动作，以及故障发生后是否能转人工、降级到普通搜索或停止相关工具调用。

七、上线前准备停用和恢复方案

AI 功能出现大面积错误、费用异常或数据风险时，应能单独关闭模型、知识库或某个业务工具，而不是只能停止整个企业系统。

正式上线前至少完成一次停用演练，明确告警负责人、人工接管流程、数据恢复方式和对外沟通口径，并记录每次处置结果用于后续改进。

上线安全验收清单

1. 01　系统与数据流向是否清楚
2. 02　角色是否遵循最小权限
3. 03　高风险动作是否需要确认
4. 04　敏感字段是否识别与脱敏
5. 05　回答和操作是否可追溯
6. 06　异常场景是否完成验证
7. 07　人工接管是否能够执行
8. 08　停用与恢复方案是否演练

武汉米能科技有限公司以“米能软件”对外提供 APP、微信小程序、企业管理系统与 AI 应用定制开发，拥有15年+软件开发经验，累计交付项目500+。具体功能、技术路线、效果指标、数据边界和维护范围以项目方案及合同为准。