🌀 AIBB-Flywheel

新闻数据飞轮
← 返回文章列表
ithome 科技 采集 2026-11-01T16:08:18+00:00

四大AI企业联手推行数据抓取退出标准

原始标题:OpenAI、谷歌、微软和 Anthropic 联手推行 AI 数据抓取退出标准

来源
ithome
发布时间
2026-11-01T14:19:52
采集批次
2026-11-01-16
字数
478
URL 指纹
7ad41d3fa476ba8d

📌 AI 总结(204 字)

OpenAI、谷歌、微软和Anthropic宣布采用统一的AI内容抓取退出机制,允许网站通过robots.txt一次性向多家AI企业声明是否允许其抓取内容并用于模型训练。该标准由Anthropic提出并提交互联网工程任务组,Anthropic已率先使用,OpenAI计划未来数月跟进,谷歌和微软预计明年支持,Meta也表达支持。此举将降低网站分别设置抓取规则的负担,并回应内容发布方对训练数据使用的控制诉求。
📄 正文(478 字)
OpenAI、谷歌、微软和Anthropic近日宣布采用一项统一的AI数据抓取退出标准。内容发布方可以通过网站现有的robots.txt文件,集中声明是否允许不同AI企业抓取其网页内容,并将这些内容用于模型训练,而无需再为每家AI企业单独制定规则。

这项标准由Anthropic技术负责人Kevin Kelley向互联网工程任务组提出,并计划集成至robots.txt。传统上,robots.txt主要用于告诉网络爬虫哪些页面允许或禁止访问,广泛应用于搜索索引、网页归档和AI模型训练等场景。此前,网站若要表达针对AI训练的数据使用偏好,需要分别向多家AI公司声明。

近年来,各类AI爬虫持续抓取网络内容,并将网页素材用于模型训练,引发内容发布方对数据授权、版权和商业价值的担忧。统一标准意在简化网站管理AI爬虫的流程,也让发布方能够一次性设置统一的抓取退出信号。

目前,Anthropic已率先采纳该标准,OpenAI计划在未来几个月内落实,谷歌和微软预计于明年支持。Meta发言人Andy Stone表示支持建立通用信号,但尚未公布具体实施计划。