如何禁止或关闭 BLEXBot Crawler 爬虫

如何禁止或关闭 BLEXBot Crawler 爬虫

日志中发现很多爬虫:
"Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup-crawler.com/)"

可以是,是一个良心爬虫,但是爬的规则有点傻,本来没什么新内容,但是一直爬。其官方声称:
我们关心您网站的性能,绝不会对其造成伤害!
BLEXbot是非常易于使用的搜寻器。抓取网站时,我们尽可能将其设为“温和”:每3秒仅发出1个请求,如果您的robots.txt文件中指定了另一个抓取延迟,则发出请求的频率甚至更低。BLEXbot遵守您在robots.txt文件中指定的规则。
如果出现任何问题,则可能是由于您的特定站点的特性,或与您链接的另一个站点上的错误所致。因此,我们想问您,如果您发现BLEXbot有任何问题,请将其报告给customercare@webmeup.com。我们将为您的特定站点快速进行唯一设置,以便爬网不会影响您站点的性能。

同时可以通过robots.txt 进行封锁:

如何禁止或关闭 BLEXBot Crawler 爬虫
如何禁止或关闭 BLEXBot Crawler 爬虫2

封锁网站的特定目录:
User-agent: BLEXBot
Disallow: /private/
Disallow: /messages/

封锁整个网站:
User-agent: BLEXBot
Disallow: /

减缓爬行速度:
User-agent: BLEXBot
Crawl-delay: 10