ithome
财经
科技
采集 2026-10-19T04:15:04+00:00
Anthropic向外部AI监督机构开放类员工访问权限以应对AI风险
原始标题:应对 AI 风险,Anthropic 向外部 AI 监督机构开放类员工访问权限
来源
ithome
发布时间
2026-10-19T01:14:28
采集批次
2026-10-19-04
字数
1376
URL 指纹
cb0614c8b2fb435f
📌 AI 总结(246 字)
Anthropic近日向非营利评估机构METR开放「类员工级别」访问权限,允许其六名工作人员入驻办公场所,使用公司硬件并访问内部工具,用于独立评估模型风险。背景是AI系统能力增强引发经济与安全担忧,Anthropic CEO阿莫迪此前联合OpenAI奥尔特曼、xAI马斯克共同提议在头部AI实验室派驻外部审计人员。批评者认为该模式存在利益冲突,Anthropic则类比银行监管机制,强调需提前发现隐患。公司同时与埃森哲合作投入数十亿美元搭建安全体系,并面临IPO前向投资者证明安全措施的压力。
📄 正文(1376 字)
IT之家10月19日消息,Anthropic为外部评估人员开放了「类似员工级别的访问权限」,用于评估其模型存在的风险,以此兑现承诺,强化安全防护,应对外界对于这项技术可能出现灾难性失控的担忧。 非营利机构METR曾与OpenIC、Anthropic、谷歌以及Meta等头部实验室开展合作,如今该机构已有团队入驻这家Claude研发企业的办公场所,可以访问其硬件设备与内部系统。 随着能力更强的人工智能系统可能给经济、网络安全乃至全人类带来的风险引发越来越多担忧,扩大第三方评估人员的权责范围,是各大实验室提出的主要实质性举措之一。 Anthropic首席执行官达里奥·阿莫迪在9月促成了一次难得的立场统一,他的两大劲敌山姆·奥尔特曼与埃隆·马斯克都支持他提出的方案,即在头部人工智能实验室派驻外部审计人员。当地时间上周四发布的这项公告,是落实上述承诺的第一步。奥尔特曼虽然称阿莫迪的提议很不错,但OpenAI尚未公布引入评估人员的相关计划。 Anthropic在周四表示:「随着模型能力不断增强,需要更强的安全防护以及更严苛的风险评估。我们希望自身做出的决策接受公众监督,但无法公开所有和安全研究相关的信息。」 针对Anthropic这套评估机制,批评者认为相关安排可能产生利益冲突,还以审计行业存在的问题作为佐证,并提出需要更强力度的政府监管。Anthropic则称,公开相关信息可能会被恶意使用者或是竞争对手利用。该公司补充,评估人员的运作模式类似于银行监管,监管机构会派驻常驻审查人员进驻大型银行内部。该公司表示:「如果一家银行承担风险的行为会威胁公众利益,第三方会尝试提前发现这类隐患。」 Anthropic同时面临压力,需要向投资者保证,安全相关问题不会影响其今年计划进行的首次公开募股,这次IPO估值预计将超过2万亿美元。本周,该公司在投资者宣讲材料中用大量篇幅介绍自身的安全措施。 此前Hugging Face遭遇由失控OpenAI模型发起的攻击事件,METR就是参与调查的机构之一,当时该机构查阅了数千条日志,还使用了企业提供的笔记本电脑。 Anthropic现已接纳六名METR工作人员,为他们配备公司硬件、办公场地,并且授予「内部工具与系统的访问权限,大致等同于本公司风险评估团队所能获取的权限」。该实验室表示,鼓励员工像对接风险部门同事那样,向评估人员共享信息。 Anthropic不会为这项合作向METR支付费用。该研究机构不接受人工智能企业及其员工的捐赠,资金来源于个人、慈善组织,还有英国人工智能安全研究所这类政府机构的资助。 评估人员将会发布分析报告,Anthropic无权否决发布行为。不过,公司可以要求评估人员删减特定类别的信息,例如客户数据、受律师客户保密特权保护的内容,或是模型架构相关信息。 Anthropic补充,仍在和埃森哲开展合作。埃森哲在上个月被确定为安全测试合作伙伴,双方各自承诺投入至少10亿美元搭建全新安全防护体系。另一家第三方测试机构是SecureBio,负责为该公司审查化学与生物武器相关风险。 Anthropic称:「我们主动派驻评估人员,并且认为所有前沿人工智能企业都应当效仿。」METR表示:「我们已准备好和所有前沿人工智能研发企业合作,向公众提供更可靠的证据。」