ithome
科技
采集 2026-09-29T10:13:36+00:00
OpenAI提出前沿AI训练安全指导原则:高管应有否决权
原始标题:OpenAI 提出前沿 AI 训练安全指导原则:高级管理人员应有否决权
来源
ithome
发布时间
2026-09-29T07:10:22
采集批次
2026-09-29-10
字数
369
URL 指纹
800b52cfba058117
📌 AI 总结(210 字)
OpenAI于9月29日发布前沿AI训练安全指导原则,要求企业在进行强化学习训练前提交结构化安全论证文件,并交由多名高管审查。研究负责人、VP、安全主管及首席科学家均有权否决训练任务,未及时处理的高优先级安全警报将自动暂停相关训练。此外,高管需对安全论证和事故响应承担明确责任,相关指标将影响其绩效考核,以推动训练团队主动关注安全与对齐问题。文章还提到,训练流程须能识别未对齐模型的所有下游用途,便于必要时消除风险影响。
📄 正文(369 字)
IT之家9月29日消息,OpenAI今天通过官方新闻稿提出了一套指导原则,要求企业在开展前沿AI强化学习训练前提交结构化的安全论证文件。 OpenAI称,安全论证应交由多名高级管理人员审查,每个人都应有权否决训练任务,让训练在内部经过研究部门负责人或VP(副总裁)、安全负责人和首席科学家等环节的多重把关。 此外,研究部门负责人、研究副总裁等负责训练任务的高级管理人员,应对安全论证以及任何事故响应承担责任,包括把这些内容纳入绩效考核,以此促使训练团队主动推动安全和对齐工作。 OpenAI称,如果高优先级安全警报没有在规定时限内得到确认,受影响的训练任务应自动暂停。这些建议已经进入落实过程,今后预计还会继续调整。此外,训练流程应能方便地识别未对齐模型的所有下游用途(例如用于数据生成或评分),以便必要时消除未对齐输出带来的影响。