🌀 AIBB-Flywheel

新闻数据飞轮
← 返回文章列表
ithome 科技 采集 2026-11-10T04:09:32+00:00

OpenAI 部署「控制室」系统,最快35秒停止失控AI智能体

原始标题:35 秒内“叫停”失控的 AI 智能体,OpenAI 部署“控制室”系统

来源
ithome
发布时间
2026-11-10T02:05:45
采集批次
2026-11-10-04
字数
385
URL 指纹
103d6a934ce338d6

📌 AI 总结(155 字)

OpenAI 在内部研究设施部署「控制室」系统,通过任务授权、实时判断和主动拦截机制,阻止存在风险的 AI 智能体继续输出。研究员启动任务时需申请唯一标识,推理引擎执行前须获得系统许可;一旦收到停止指令,系统会在最长35秒内阻断后续请求。该方案还为前沿强化学习任务配置独立模型监控器,以识别异常行为并及时预警。
📄 正文(385 字)
OpenAI 宣布,已在内部研究设施中部署名为「控制室」的系统,用于停止可能存在风险的 AI 任务,可在35秒内叫停失控的 AI 智能体。

与传统监控系统仅负责标记可疑行为不同,该系统可以主动阻止风险研究任务进一步请求输出。研究人员启用某项任务时,需要向控制室申请唯一任务 ID,该标识符会附加在发送给推理引擎的请求中。推理引擎随后咨询控制室,确认任务是否可以运行。

当研究员或监控系统发出停止指令后,控制室服务将拒绝下一次推理请求,使推理引擎无法继续为相关任务生成或声称任何模型输出。

OpenAI 表示,从收到停止指令到完全阻止任务继续运行,系统最长需要35秒。这一延迟来自推理授权请求的缓存层,公司正在努力将响应时间缩短至0。

此外,该系统还集成了自动化监控机制。所有前沿强化学习任务都将配备独立的模型监控器,用于检查模型行为,并在发现潜在问题时发出警报。