如何禁止AI爬虫GPTBot|Claude-Web|ClaudeBot

moneyslow

1 month ago

可以用nginx的配置文件规则（放到server段里）：

set $is_bot 0;
if ($http_user_agent ~* (GPTBot|Claude-Web|ClaudeBot)) {
  set $is_bot 1;
}
if ($is_bot = 1) {
  return 403;
}

但是以上方法毕竟还是耗费服务器网络流量和nginx资源，在日志中仍然可以看到，不如下面的封禁IP地址段的方法：

手工人肉整理出claudebot的IP地址AS number的ip地址段如下：

13.58.0.0/15
18.116.0.0/14
18.220.0.0/14
18.216.0.0/14
18.224.0.0/14
3.12.0.0/16
3.132.0.0/14
3.136.0.0/13
3.14.0.0/15
3.144.0.0/13
3.16.0.0/14
3.20.0.0/14
52.14.0.0/16
52.15.128.0/17

可以通过防火墙进行屏蔽，例如ufw：

ufw insert 1 deny from "3.20.0.0/14" comment "claudebot"

基本上清理的非常干净，不再有claudebot 的访问痕迹。