- 44浏览
- 2023-02-02
DotBot是什么蜘蛛，需要屏蔽这个爬虫吗
这个DotBot蜘蛛总的来说也没啥用，直接屏蔽。
官方宣称支持robots协议，昨天添加上以后，今天凌晨1点爬了下，现在还没爬，不知道是不是确实比较自觉。
User-agent: DotBot
Disallow: /
但为了更把握一点，我们还是添加Nginx或其它WEB服务器规则禁止抓取
if ($http_user_agent ~* "DotBot" )
{
return 403;
}
然后来个合集：
if ($http_user_agent ~* (YandexBot|spbot|DnyzBot|Researchscan|semrushbot|yahoo|AhrefsBot|DotBot|Uptimebot|MJ12bot|MegaIndex.ru|ZoominfoBot|Mail.Ru|SeznamBot|BLEXBot|ExtLinksBot|aiHitBot|Barkrowler)){
return 403;
}
直接把大部分的垃圾营销蜘蛛都拦截。
版权声明：
1、本文系转载，版权归原作者所有，旨在传递信息，不代表看本站的观点和立场。
2、本站仅提供信息发布平台，不承担相关法律责任。
3、若侵犯您的版权或隐私，请联系本站管理员删除。
4、本文由会员转载自互联网，如果您是文章原创作者，请联系本站注明您的版权信息。
中国互联网举报中心