去中心化社交网络项目Diaspora的开发者近日透露，其论坛、维基和项目网站的流量中，有70%来自AI公司的网络爬虫。开发者表示，在过去60天内，Diaspora的网络资产共接收到1130万次请求，平均每秒2.19次请求。其中，OpenAI的gptbot爬虫占据了24.6%的流量，亚马逊的爬虫占17.1%，Anthropic和Meta的爬虫分别占4.3%和2.2%。相比之下，Google和Bing等传统搜索引擎的爬虫仅占0.14%的流量。

开发者对此表示强烈不满，指出这些AI公司的爬虫无视robots.txt协议，试图索引每一个页面的细微变化，并且频繁切换IP地址，绕过User Agent字符串的封锁。开发者认为，这种行为无异于对互联网的分布式拒绝服务（DDoS）攻击，给服务器带来了不必要的负担，并可能影响正常用户的访问体验。

原话：
“看起来我的服务器正在为这些该死的 LLM 训练机器人做 70% 的工作，这些机器人除了一遍又一遍地爬行该死的互联网之外，什么都做不了。

哦，当然，他们不会只抓取一个页面一次，然后继续前进。哦，不，他们每 6 小时回来一次，因为哈哈为什么不呢。他们也不在乎一丝不苟，因为他们为什么要这样做。最棒的是：他们爬行了最愚蠢的页面。最近，ChatGPT 和亚马逊同时抓取了 wiki 的整个编辑历史。我的意思是 - 他们为每个页面上所做的每一次更改编制了索引。通常峰值超过 10req/s。当然，这让 MediaWiki 和我的数据库服务器非常不高兴，导致负载峰值，并给人类用户带来有效的停机时间/缓慢。”

确实有这个问题在，融合LLM的AI爬虫类项目(Crawl4AI、ScrapeGraphAI、LLM Scraper)可以自学习反爬，很恐怖。