站三界导航
首页 建站经验解决屏蔽流氓蜘蛛抓取，如MJ12bot 、DotBot 、BLEXBot 、PetalBot 、DataForSeoBot

解决屏蔽流氓蜘蛛抓取，如MJ12bot 、DotBot 、BLEXBot 、PetalBot 、DataForSeoBot

  • 建站经验
  • 来源：站三界导航
  • 47阅读
  • 2022-12-16

解决屏蔽流氓蜘蛛抓取，如MJ12bot 、DotBot 、BLEXBot 、PetalBot 、DataForSeoBot碰到这些流氓蜘蛛直接双屏蔽，不要相信他们会准守robots协议（不要太天真了）

1、robots文件屏蔽

User-agent: MJ12bot
Disallow: /
User-agent:DotBot
Disallow: /
User-agent:BLEXBot
Disallow: /
User-agent:PetalBot
Disallow: /
User-agent:DataForSeoBot
Disallow: /
2、NG等服务器规则屏蔽

if ($http_user_agent ~*  （MJ12bot|DotBot|BLEXBot|PetalBot|DataForSeoBot） )
{
      return 403;
}
3、然后来个合集：

if ($http_user_agent ~* (YandexBot|spbot|DnyzBot|Researchscan|semrushbot|yahoo|AhrefsBot|DotBot|Uptimebot|MJ12bot|MegaIndex.ru|ZoominfoBot|Mail.Ru|SeznamBot|BLEXBot|ExtLinksBot|aiHitBot|Barkrowler)){
 return 403;
}

本文结束
本文来自投稿，不代表站三界导航立场，如若转载，请注明出处：https://www.zhansanjie.com/article/details/33070.html

版权声明：

1、本文系转载，版权归原作者所有，旨在传递信息，不代表看本站的观点和立场。

2、本站仅提供信息发布平台，不承担相关法律责任。

3、若侵犯您的版权或隐私，请联系本站管理员删除。

4、本文由会员转载自互联网，如果您是文章原创作者，请联系本站注明您的版权信息。

分享
  • 上一篇： 三折页宣传册设计尺寸
  • 下一篇： 都美竹起诉多家公司 涉名誉权肖像权等多方面纠纷

    • 收藏
    最近更新
    栏目导航
    相关文章 更多 >>
    随机网站 更多 >>
    最新小程序 更多>>
    最新公众号更多>>
    站三界导航
    本站声明：本站严格遵守国家相关法律规定，非正规网站一概不予收录。本站所有资料取之于互联网，任何公司或个人参考使用本资料请自辨真伪、后果自负，站三界导航不承担任何责任。在此特别感谢您对站三界导航的支持与厚爱。