快讯资讯
手机优化
系统数码
网络通信人工智能
网站游戏
测评专题
智车

  Meta 爬虫疯狂涌入,一艺       古尔曼:苹果首款折叠屏    

Meta 爬虫疯狂涌入,一艺术家网站被挤爆

时间:2026-11-04 07:53 来源:IT之家 人气:

11 月 3 日消息,圣地亚哥一名创作者原本希望有更多人访问自己的网站,结果她迎来的不是访客,而是 Meta 爬虫带来的 55 万余次访问,如今她只能手忙脚乱地维持网站正常运转。

儿童绘本作家、插画师切尔西 · 保卢斯(Chelsea Paulus)向 Business Insider 表示,这台自动访问程序耗尽了网站主机资源,她不得不和服务商一起排查故障。

“我从来没有遇到过这种情况,”保卢斯说,“哪怕我懂一些技术,这周也过得心力交瘁。”

保卢斯经营这份事业已有十年,去年转为全职创作者。此前她有科技和网页设计从业背景,所以流量异常暴涨时,她很快察觉到不对劲。

“我不认为这是 Meta 蓄意发起的恶意攻击,”保卢斯说,“但小微企业主需要知道这类风险,并且要有可用工具来阻挡爬虫。”

艰难维持网站在线

10 月 24 日,她收到主机服务商 SiteGround 的邮件预警:分配给她的 CPU 资源已经用掉 80%。保卢斯的四个网站共用这家保加利亚服务商的一套主机方案。

保卢斯说,周一她查看网站安全面板,发现每秒有好几次访问请求涌入。

“我打开 WordFence,屏幕上每秒都在不断刷新访问记录。”保卢斯说,“在 WordFence 里点开详情可以看到 IP 地址,查询之后发现,这个 IP 归属 Meta 位于达拉斯的节点。”

访问程序的标识名称为“Meta External Agent”,主机服务商 SiteGround 的工作人员后来也确认了这一点。

根据 Meta 开发者页面说明,Meta External Agent 会在全网抓取内容,用途包括基础大模型训练、直接收录内容以优化产品。

保卢斯偶尔投放 Meta 广告,之前也见过 Facebook 爬虫访问,但如此大的访问量是第一次碰到。

“我修改了 robots.txt 文件,也配置了防火墙,但这些规则生效往往需要 24 小时,而我需要立刻拦住爬虫。”保卢斯说,“所以我联系了主机商。”

“服务商给了我一段代码,加到网站的隐藏配置文件里。”她补充道,“普通建站者一般不会去碰这类文件,但这是当时唯一能挡住爬虫的办法。”

但这个办法只是临时生效。到本周中旬,另一款名为“Meta Web Indexer”的 Meta 爬虫又来了,直接把主机资源占用拉满。

据了解,Meta 开发文档将 Meta Web Indexer 定义为网页爬虫,作用是浏览网页、优化 Meta AI 给用户返回的搜索结果质量。

事情仍没有妥善解决

Meta 发言人周一表示,网站运营方有权管控爬虫行为,并引导大家查阅《Meta 网页爬虫开发者文档》,了解各类爬虫的用途。

“和很多企业一样,Meta 出于多种目的使用网页爬虫。网站管理者可以通过

更多文章

相关文章

网站导航: | 快讯

  • 手机 | 优化 | 系统 | 数码 | 网络通信 | 人工智能 | 网站 | 游戏 | 测评 | 专题 | 智车

    合作伙伴:

  • 友情链接(欢迎业界知名网站交换链接)申请友情

    

    声明:本站资源皆来自网络,如有侵权问题,请联系管理员处理!

    Copyright ©2020-2028快知站 版权所有 All rights reserved.

    闽ICP备20010713号-1 闽公网安备 35020602001684号