- 46浏览
- 2022-04-28
AhrefsBot是什么蜘蛛，这个爬虫需要屏蔽吗
值得表扬的是AhrefsBot蜘蛛确实遵循robot协议，我昨天屏蔽的，今天就没有任何AhrefsBot爬虫的痕迹。
User-agent: AhrefsBot
Disallow: /
将以上代码添加到robot.txt文件里面即可很方便的屏蔽掉。
当然为了防止后期它哪一天不讲武德，还是附上通过修改Nginx或其它WEB服务器规则禁止抓取的代码：
if ($http_user_agent ~* "AhrefsBot" )
{
return 403;
}
禁止IP的做法我觉得没什么意义，IP变动太简单了。
版权声明：
1、本文系转载，版权归原作者所有，旨在传递信息，不代表看本站的观点和立场。
2、本站仅提供信息发布平台，不承担相关法律责任。
3、若侵犯您的版权或隐私，请联系本站管理员删除。
4、本文由会员转载自互联网，如果您是文章原创作者，请联系本站注明您的版权信息。
中国互联网举报中心