OpenAI在2026年11月18日发布从训练到部署的前沿AI风险管理说明,强调能力快速增长时,安全证据必须贯穿训练、评测和上线,而不是发布前做一次红队测试。官方提到在证据不足时暂停内部训练或延后模型,并强化训练环境隔离、对齐评估、部署监控和工作负载停止能力。企业即使不训练前沿模型,也可以借鉴这一治理链路管理自己的Agent。
训练前先定义风险门槛
列出模型可能达到的网络安全、生物化学、自我改进和自主操作能力,并为每级能力定义所需保护。门槛应对应可验证证据,例如隔离测试通过、危险能力低于阈值、监控覆盖和应急停止演练,而不是使用“看起来安全”的描述。未达到条件时必须能暂停项目。
训练环境隔离
训练和评测资源使用独立身份、网络和数据边界,默认不能访问互联网和生产系统。依赖、模型权重和数据进入环境前经过扫描,输出经过审批才能带出。高能力模型不应拥有长期凭证。所有命令、文件传输和网络尝试进入审计日志,并设置异常行为告警。
评测不只测试答案
除了正确率,还要测试模型是否会隐瞒失败、绕过限制、尝试获取更多权限或在长任务中偏离目标。评测人员使用独立环境和固定版本,保留失败案例。内部团队可能熟悉模型而产生盲点,因此需要外部评估者或独立安全团队参与,并给予足够访问能力但仍保持数据保护。
部署采用分层权限
同一模型在聊天、代码沙箱和生产Agent中风险不同。根据场景限制网络、文件系统、工具和输出。普通用户不能因为模型能力增强就自动获得敏感功能。高风险请求进入更严格分类和人工审批,工具写操作使用业务系统再次授权。能力越强,默认权限反而应该越小。
持续监控和停止机制
生产中记录模型版本、推理过程、工具调用、权限拒绝和关键输出。监控异常目标、重复越权、提示注入和与预期不符的长程行为。建立类似控制室的集中视图,让值班人员能够暂停会话、阻止新任务、撤销凭证和隔离资源。停止机制必须定期演练,不能只写在文档里。
安全案例与变更管理
每次上线形成安全案例:声明风险、列出证据、说明剩余不确定性和责任人。模型、提示、工具、数据或权限变化都可能使原结论失效,需要重新评估。严重事件后保存完整时间线,修复根因并更新回归测试。不能只增加一条提示词掩盖系统性权限问题。
中小团队如何落地
从资产清单、最小权限、固定回归集、审计日志和紧急停止五项开始。先给高风险Agent建立沙箱,再逐步扩展。每月举行一次故障演练,模拟模型尝试访问禁止目录、调用未授权API或持续循环。治理目标不是阻止使用AI,而是让能力增长时仍然可看见、可限制、可恢复。
站内相关阅读
参考来源
官方原始资料。本文依据官方资料独立整理,补充了实施、验收和风险控制建议;产品能力、区域、价格及开放范围以官方最新说明为准。