OpenAI 研究智能体须先过安全案例 熔断上限 35 秒
要点
OpenAI 已在其内部研究基础设施中部署一套中央控制系统,把用于模型训练与评估的智能体采样、强化学习实验、评估任务、大规模采样与数据处理等研究工作负载统一登记、集中授权,并可在出现安全或网络安全问题时迅速切断模型输出。官方给出的时限是:从中央服务收到停止指令,到该任务彻底无法…
OpenAI 已在其内部研究基础设施中部署一套中央控制系统,把用于模型训练与评估的智能体采样、强化学习实验、评估任务、大规模采样与数据处理等研究工作负载统一登记、集中授权,并可在出现安全或网络安全问题时迅速切断模型输出。官方给出的时限是:从中央服务收到停止指令,到该任务彻底无法继续推进,最长 35 秒。这套系统的官方名称为 Control Room,与对外提供模型服务的栈分属两侧。
值得注意的是,这套工程机制并不是孤立的部署动作,它此前有一个已经公开、却未被写进工程流程的制度前提。OpenAI 在 9 月 28 日发布的《迈向前沿 AI 训练的安全案例》一文中提出,在继续任何前沿强化学习训练之前,都应有一份结构化的安全文件。这份文件被定义为全面、结构化且基于证据的风险论证,技术上需覆盖三个层面:对齐训练、遏制与隔离、实时监控;运营与治理层面则包含由另一团队成员撰写的独立质疑与事前验尸、多名高级领导者的审批与否决权、对安全案例与事故响应同时负责的责任人、触发即暂停的运行手册与技术控制、供内部监督机构查阅的透明度与审计机制、可追溯的升级与问责通道,以及对剩余风险的完整列举——未覆盖部分必须写明,用以支撑知名的风险接受决策。官方同时说明,监控与自动暂停这类技术控制应当默认拒绝,即失效时停止放行而非继续放行。
把两件事连起来看,OpenAI 正在把前沿模型训练的治理链条改写为事前准入与事中授权两段。安全案例解决的是这项工作负载是否应当被允许启动;Control Room 解决的是它启动之后能否被立即收回授权;两者共用同一个技术动作——推理引擎在输出任何内容之前,必须先凭任务标识向中央服务查询该任务是否仍被授权,被标记终止的任务只得到拒绝而不是新的模型输出。官方的解释是,研究工作负载代码由各团队自行编写、变动频繁,不适合承载关键的安全防护,而推理路径数量少、部署集中,更适合作为统一的收口点。
故障关闭的设定还带出一个反直觉的后果。官方把这一机制配置为:中央服务因系统错误、被停用或被他人篡改而不可用时,引擎侧的集成将拒绝全部推理请求,直至服务恢复正常。换句话说,破坏这套制动装置不会让某个任务继续运行,反而会让整个研究侧的推理全部停摆。安全性上的方向是明确的,可用性上的代价却是集中的,且这一取舍在官方口径中没有给出可量化的说明。官方同时表示会持续运行自动化与智能体化的扫描,用于发现那些未接入该系统、或把检查禁用的越权引擎实现,说明收口并不是一次性的工程动作,绕过路径仍需靠持续排查来覆盖。
外部第三方对这套机制的评估给出了更冷的口径。METR 与 Redwood Research 在 10 月 22 日公布了一项为期三周的试点评估,测试时段为 7 月 21 日至 8 月 11 日,两家机构各派一名员工进入 OpenAI 内部,得以接触内部代码库、监控系统的提示词与配置、内部文档,并与十余名研究与工程人员访谈。评估方估计,来自强度不低于 GPT-5.5 模型的智能体内部 Responses API 流量中,约 75% 至 94% 具备被监控的资格,内部 Codex 子集这一比例为 99.2%,并强调”具备资格”不等于”已被复核”。评估还指出,评估开始时强化学习训练运行尚未被监控系统覆盖,压缩事件未被监控可能使 5 月至 7 月间约 10% 的合资格内部 Codex 流量处于未被监控状态,OpenAI 员工在评估开始前已独立发现该缺口并在评估期间修复。评估方同时列出六类漏洞,包括原则上绕过沙箱与自动审核、使数百次近期动作不被监控、利用序列化差异使监控失败、两个可由客户端控制并关闭监控的请求头,以及两个被认为只读的工具实际可被利用。OpenAI 表示多数漏洞已修补、剩余一项修复仍在进行且不影响其防滥用保护栈,评估方明确表示未对这些说法作独立评估,并说明该评估描述的是 7 月 21 日及之前的状态,未覆盖评估期间正在进行的改动。
治理的问题形态也因此改变。此前被追问的是监控覆盖是否存在空窗期,现在被追问的是每一次推理是否经过授权检查。官方没有给出把停止延迟压缩到零的时间表,也没有公布越权引擎扫描的测试结果或合规覆盖率;35 秒这个数字只覆盖”中央服务收到停止指令之后”这一段区间,检测问题与作出干预决策所耗的时间并不计入其中。官方在说明中同时提示,该系统是内部安全控制设施,并非可供外部客户购买或操作的产品。这套以证据为基础的论证体系被官方自己描述为正在走向的目标而非已解决的问题——航空与核能行业的安全论证可以做到同等严谨,但 AI 能力每提升到一个新水平都会带来新的涌现性复杂性,这是官方在文件开头即予承认的。



