主要观点总结
Anthropic公司使用其大模型Claude在一天内以百万次的速度访问了名为iFixit的技术网站，以获得更多数据，导致网站CEO抗议和服务器承受巨大负载。该事件引起广泛讨论并展示了AI爬虫滥用的问题。文章还探讨了应对方案、版权问题以及商业合作的可能性。
关键观点总结
关键观点1: 事件背景及经过
Anthropic公司为了获取更多数据，使用其大模型Claude对iFixit网站进行爬虫抓取，导致网站服务器承受巨大负载，引发网站CEO的抗议。
关键观点2: iFixit网站的困境
iFixit网站是一家专注于提供电子设备维修指南的技术论坛，未得到许可的情况下被Anthropic公司爬虫抓取数据，导致服务器负载增加，性能下降。
关键观点3: Claudebot的其他罪行
Claudebot曾因爬虫滥用导致其他技术论坛瘫痪数小时，无视网站的服务条款和robots.txt文件。
关键观点4: 版权问题的讨论
文章讨论了AI公司如何对待版权问题，以及可能的解决方案，包括设置robots.txt文件和版权陷阱等。
关键观点5: 商业合作的前景
文章展望了AI公司与内容产出者之间的商业合作前景，强调了保护版权的重要性，并提到了OpenAI与新闻集团等公司的合作案例。
正文
Kyle Wiens在接受外媒采访时讽刺地说，“我们只是世界上最大的维修信息库而已，他们未经许可偷走我们所有的数据并且在这个过程中把我们的服务器淹没，这也没什么大不了的。”
他补充说，iFixit的网站有数百万个页面，包括修理指南、这些指南的修订历史、博客、新闻帖子和研究、论坛、社区贡献的修理指南和问答部分等。
Wiens向媒体展示了网站的服务器日志，根据日志内容，Claudebot在几个小时的时间中，每分钟数千次的请求访问。
显然，爬虫过境会使得激增的访问量不断增加服务器负载，导致服务器响应时间变慢，甚至崩溃。
然而，这不是Claudebot的第一次惹祸，很可能也不是最后一次。
恶名在外：Claudebot罪行累累
搜索一下Claudebot，就会发现它已经是个惯犯了。
Claudebot疯狂起来直接将技术论坛搞到瘫痪数个小时。专注于Linux Mint操作系统讨论的Linux Mint Forums就曾惨遭毒手。
在ClaudeBot开始搜索和访问论坛后，导致该论坛在几个小时内性能极差，并最终导致了访问的中断。直到爬虫被防火墙阻止后，论坛性能才恢复正常。
Linux Mint Forums恢复后在声明中说：Anthropic正在通过免费搜索网站来训练AI。他们这样做会给网站带来大量额外负载，这实际上是一种 DDos 攻击。
因此，有人直接评价Claudebot为“近年来，在我的服务器上遇到的最惹人烦的爬虫机器人”。并说将屏蔽一切与Claude有关的内容。
Reddit上也有篇帖子吐槽Claudebot太过积极，更加不讲理的是Claudebot似乎直接开大绕过了他的robots.txt文件。
