- 40浏览
- 2022-04-28
MJ12bot蜘蛛是什么爬虫，怎么屏蔽
MJ12bot也是一个宣称自己遵守robots规则的爬虫，但小编我实测他还是无视了，国外的这种爬虫真的是不讲武德。
所以还是双管齐下。
1、robots文件屏蔽
User-agent: MJ12bot
Disallow: /
2、NG等服务器规则屏蔽
if ($http_user_agent ~* "MJ12bot" )
{
return 403;
}
网上看很多人说是遵循robots规则的，但我一个站昨天就屏蔽了，今天9点多还在爬，所以还是直接服务器规则屏蔽来的直接。
版权声明：
1、本文系转载，版权归原作者所有，旨在传递信息，不代表看本站的观点和立场。
2、本站仅提供信息发布平台，不承担相关法律责任。
3、若侵犯您的版权或隐私，请联系本站管理员删除。
4、本文由会员转载自互联网，如果您是文章原创作者，请联系本站注明您的版权信息。
中国互联网举报中心