ithome
科技
采集 2026-11-03T10:15:52+00:00
Anthropic警示AI递归自我改进或临近
原始标题:Anthropic 警示:AI 递归自我改进(RSI)近在眼前
来源
ithome
发布时间
2026-11-03T08:03:19
采集批次
2026-11-03-10
字数
673
URL 指纹
8af20940861a3c8b
📌 AI 总结(221 字)
Anthropic在招股补充文件的风险提示中表示,公司已将人工智能用于新模型研发,部分模型能力出现跃升,且研发团队一度未能及时察觉这一变化。随着AI系统加快模型迭代,其能力提升速度可能超过安全验证、部署和对齐防护措施的建设速度,公司据此判断,或许很快接近其内部定义的递归自我改进门槛。Anthropic同时强调,现有模型尚未越过门槛,可预见未来仍保留人类参与,并考虑修订负责任扩缩策略,防止Claude在缺乏有效监督的情况下自主设计前沿模型。
📄 正文(673 字)
Anthropic在最新招股补充文件中披露,公司正利用AI参与模型研发,一些新模型的能力出现显著提升,但团队此前并未及时意识到这一变化。公司警告,随着AI系统加快自身研发进度,模型能力提升的速度可能超过安全验证、部署、对齐和防护方案的配套建设速度,因此未来仍可能出现研发大幅提速后才察觉风险的情况。 基于内部测算及对下一代模型的预期,Anthropic认为,公司可能很快触及其《负责任扩缩策略》所定义的「由AI带来的爆发式技术进展」。该公司同时表示,目前没有任何现有模型越过递归自我改进门槛,相关基础数据仍在持续评估。 递归自我改进是指人工智能具备很强的自我训练能力,并由此推动自身能力持续、爆发式增长。风险悲观者认为,这类能力可能使AI进化到难以控制的地步,并在追求目标时造成严重损害;乐观者则认为,它有望释放生产力并推动科学发现。Anthropic对这两种可能性均持警惕。 公司强调,旗下所有模型暂未达到递归自我改进门槛,可预见的未来研发流程仍将保留人类参与。即使技术层面将来能够实现完全自主迭代,Anthropic也不打算在缺乏有效人工监督和充分理解相关过程的情况下,让Claude自主设计、迭代前沿大模型。公司正考虑修订《负责任扩缩策略》,确保前沿模型开发始终处于人类掌控之下。 外界也有人质疑,招股文件兼具信息披露和宣传属性,所谓临近递归自我改进可能是营销表述。不过,Claude今年在编程、数学和网络安全等领域的能力确有明显提升。若Anthropic的判断具有现实依据,监管部门和行业参与者就需要着手建立相应的监测与防护规则。