- 42浏览
- 2022-04-28
BLEXBot是什么蜘蛛，需要屏蔽这个爬虫吗
这个蜘蛛理论上除了耗费我们的服务器资源之外，也没什么坏处，但对在国内建站只面向国内用户的站长来说，屏蔽是比较好的选择。
实测这个BLEXBot蜘蛛比较自觉，使用robot协议禁止以后它就不再爬了，值得表扬。
User-agent: BLEXBot
Disallow: /
还是为了防止哪天不讲武德搞偷袭，彻底在服务器规则禁止更好：
if ($http_user_agent ~* "BLEXBot" )
{
return 403;
}
毕竟robot只是个协议，属于约定，尊不遵守还是看这些公司自己的设定。
版权声明：
1、本文系转载，版权归原作者所有，旨在传递信息，不代表看本站的观点和立场。
2、本站仅提供信息发布平台，不承担相关法律责任。
3、若侵犯您的版权或隐私，请联系本站管理员删除。
4、本文由会员转载自互联网，如果您是文章原创作者，请联系本站注明您的版权信息。
中国互联网举报中心