Claude爬虫惹众怒！技术论坛CEO喊话Anthropic：我知

出品 | 51CTO技术栈（微信号：blog51cto）

忍无可忍了！

OpenAI最大的竞争对手Anthropic公司，为了让自家大模型Claude获得更多数据，直接用网络爬虫在一天内以百万次的速度访问了名为iFixit的技术网站。

直接把iFixit网站的CEO Kyle Wiens逼得在X上跟Anthropic对线！

Kyle Wiens毫不客气地戳Anthropic脊梁骨：嘿，@AnthropicAl，我知道你想要数据。Claude确实很聪明！但你真的需要在24 小时内对我们的服务器进行上百万次的攻击吗?

你不仅白嫖占用了我们的内容，还占用了我们的开发资源。这可不酷。

图片

Kyle Wiens还阴阳了一把Anthropic说，“难道Claude的爬虫没有爬到我们网站的声明吗？”

因为在iFixit的服务条款里已经明确写了：“未经iFixit事先书面许可，严禁复制、复制或分发站点上的任何内容、材料或设计元素，包括用于训练机器学习或AI模型。”

令人愤怒的是，Anthropic并未向iFixit道歉，而是给了他一篇有甩锅意味的博文。博文里写道：

“根据行业标准，Anthropic使用各种数据源进行模型开发，如通过网络爬虫收集的公开可用数据。”“我们的爬取不应具有侵入性或干扰性。我们通过考虑在相同域中爬取速度和尊重适当的Crawl-delay来实现最小化的干扰。”

1.天降横祸：iFixit承受爬虫围攻

iFixit是一家专注于提供电子设备维修指南和工具的技术论坛。

iFixit的主要通过提供详细的拆解和维修指南，帮助用户自己动手维修设备，从而延长电子产品的使用寿命。

Kyle Wiens在接受外媒采访时讽刺地说，“我们只是世界上最大的维修信息库而已，他们未经许可偷走我们所有的数据并且在这个过程中把我们的服务器淹没，这也没什么大不了的。”

他补充说，iFixit的网站有数百万个页面，包括修理指南、这些指南的修订历史、博客、新闻帖子和研究、论坛、社区贡献的修理指南和问答部分等。

Wiens向媒体展示了网站的服务器日志，根据日志内容，Claudebot在几个小时的时间中，每分钟数千次的请求访问。

显然，爬虫过境会使得激增的访问量不断增加服务器负载，导致服务器响应时间变慢，甚至崩溃。

然而，这不是Claudebot的第一次惹祸，很可能也不是最后一次。

2.恶名在外：Claudebot罪行累累

搜索一下Claudebot，就会发现它已经是个惯犯了。

Claudebot疯狂起来直接将技术论坛搞到瘫痪数个小时。专注于Linux Mint操作系统讨论的Linux Mint Forums就曾惨遭毒手。

在ClaudeBot开始搜索和访问论坛后，导致该论坛在几个小时内性能极差，并最终导致了访问的中断。直到爬虫被防火墙阻止后，论坛性能才恢复正常。