🌀 AIBB-Flywheel

新闻数据飞轮
← 返回文章列表
ithome 科技 采集 2026-11-03T16:14:17+00:00

Meta爬虫涌入致艺术家网站挤爆

原始标题:Meta 爬虫疯狂涌入,一艺术家网站被挤爆

来源
ithome
发布时间
2026-11-03T11:29:01
采集批次
2026-11-03-16
字数
964
URL 指纹
ed082ba3372a8bb7

📌 AI 总结(188 字)

儿童绘本作家兼插画师切尔西·保卢斯的四个个人网站因Meta爬虫在短时间内接收大量请求,主机资源一度占用八成,随后被Meta Web Indexer再次拉满,网站持续不稳定。保卢斯认为这更像失控的自动抓取而非恶意攻击,并临时采取隐藏配置、服务器侧防护和人机验证等措施。事件暴露小型网站缺少高效拦截工具、爬虫流量无法产生收益却增加运营成本等问题,也促使她呼吁Meta建立约束机制。
📄 正文(964 字)
IT之家 11 月 3 日消息,圣地亚哥儿童绘本作家、插画师切尔西·保卢斯原本希望网站获得更多访问,却遭遇Meta爬虫带来的55万余次请求。其四个网站共用SiteGround主机方案,自动化访问迅速耗尽服务器资源,她不得不与服务商共同排查故障并设法维持网站运行。

保卢斯经营创作事业已有十年,去年转为全职创作者。此前从事科技和网页设计的经历,让她较早发现流量异常。她表示,这不像是Meta蓄意发动攻击,但小型企业主需要了解此类风险,并拥有能够及时阻挡爬虫的工具。

10 月 24 日,SiteGround通知她,网站分配的CPU资源已使用八成。查看安全面板后,她发现每秒有数次访问请求涌入,WordFence记录显示,请求来自Meta位于达拉斯的节点,标识为“Meta External Agent”。据Meta开发者页面说明,该程序会抓取全网内容,用于基础大模型训练以及优化产品和直接收录内容。

保卢斯过去偶尔投放Meta广告,也见过Facebook爬虫,但此前访问量远低于此次规模。她修改robots.txt并配置防火墙,但规则通常要24小时才能生效。在主机商协助下,她将一段代码加入网站隐藏配置文件,暂时阻止爬虫。对于普通建站者而言,这类文件并不常被使用,但当时是唯一能立即生效的办法。

临时措施随后又遇挑战,另一款名为“Meta Web Indexer”的Meta爬虫出现,并将主机资源占用拉满。Meta开发文档称,该爬虫用于浏览网页、优化Meta AI搜索结果。Meta发言人表示,网站运营方有权管理爬虫行为,可通过robots.txt设定交互方式,公司也公开提供相应配置指引并尊重网站规则。

邮件截图显示,SiteGround已通过服务器侧防护限制爬虫请求,但截至周一,保卢斯的网站仍不稳定。为避免真人访客与爬虫流量叠加导致彻底宕机,她只能删除Instagram主页中的网站链接。她无力承担升级流量配额的费用,因为爬虫访问不会带来收入,而目前也没有法律禁止AI爬虫访问公开网站。

保卢斯还在尝试使用Cloudflare的人机验证工具拦截爬虫,并呼吁Meta设置约束机制,避免类似事故重演。否则Cloudflare等服务商可能难以持续免费提供防护,小微企业最终只能增加支出,购买更高资源配置或额外防护服务。