ithome
科技
采集 2026-11-04T10:12:21+00:00
Anthropic 开发 FlashProve 验证模型输出来源
原始标题:Anthropic 正开发 FlashProve 开源系统:用密码学证明 AI 输出来自哪个模型
来源
ithome
发布时间
2026-11-04T08:04:16
采集批次
2026-11-04-10
字数
722
URL 指纹
d63c504ef1da2437
📌 AI 总结(186 字)
Anthropic 正研发开源系统 FlashProve,通过密码学证明确认特定人工智能输出确由指定模型生成。其原理类似数字签名,可阻止模型开发商暗中以更廉价模型替换昂贵模型,也能核验企业或开发者关于某项任务由先进模型完成的声明。系统依赖公开但不泄露模型权重的「指纹」,并支持本地轻量验证。相关技术规范和代码已开源,但目前仍处于研究阶段,Anthropic 暂未计划部署。
📄 正文(722 字)
Anthropic 正在开发一套名为 FlashProve 的开源系统,用于通过密码学证明验证某一人工智能输出来自哪个模型。其目标是实现研究人员所称的「可证明推理」,即为特定答案提供数学层面的来源保证,使用户能够确认结果确实由其认为正在使用的模型生成。 该系统的原理类似加密电子邮件签名。传统数字签名可帮助收件人确认邮件来源,FlashProve 则旨在抵御将一个模型冒充为另一个模型的行为,即使实施冒充的是开发并运行相关模型的 AI 公司,也难以绕过验证。 研究人员认为,这项技术有望阻止 AI 公司为降低成本而暗中换用更便宜的模型,也能避免企业秘密改用更昂贵的模型,以人为抬高性能测试结果。此外,第三方关于某项任务由先进模型完成的声明也可借此核验,例如开发者声称软件库已由前沿网络安全模型扫描漏洞,或企业声称商业计划已获得适当模型认可。 要实现这一目标,AI 实验室需为发布的每个模型提供一种「指纹」,再将其与具体输出匹配并进行密码学验证。模型指纹不会泄露决定模型行为的内部参数,因此闭源模型开发商可以公开指纹,而无需放弃作为商业机密保护的模型权重。这也使 FlashProve 有望适用于商业闭源模型。 FlashProve 在设计上也强调轻量化,用户可直接在本地设备上完成验证。Anthropic 此次同步公布了详细技术规范及系统各组成部分的可运行代码,相关代码已通过开源许可证在 GitHub 公开。 目前,FlashProve 仍处于研究阶段,Anthropic 尚未计划将其部署到自家或其他 AI 实验室。研究人员表示,此次公开旨在分享阶段性进展,希望外界审视、利用并进一步改进相关成果,而非展示一项已经完成的研究计划。