DataForSeoBot是什么蜘蛛爬虫，怎么屏蔽

建站经验
来源：站三界导航
59阅读
2022-09-19

最近安装了蜘蛛分析插件，发现了DataForSeoBot这个蜘蛛，每天爬几百上千的页面，搜了搜，是一个国外的seo运营公司的蜘蛛，换句话说，就是DataForSeoBot爬虫采集的数据是提供给众多SEO从业人士的，这些数据可以被用作SEO竞争分析、SEO软件开发、市场调查、甚至网络推广等方面。也就是说，对于被抓取的网站本身来说，无任何价值，甚至有数据被采集的负面影响。

DataForSeoBot是什么蜘蛛爬虫，怎么屏蔽

这还有啥说，果断屏蔽啊！

怎么屏蔽DataForSeoBot蜘蛛？

官网宣称DataForSeoBot爬虫支持robots.txt协议，但其实这货不怎么守规矩，robots.txt禁止以后，还爬的飞起。

所以建议需要屏蔽这个蜘蛛的，两手抓：

1、robots.txt协议禁止爬取

User-agent: DataForSeoBot
Disallow: /
2、通过修改Nginx或其它WEB服务器规则禁止抓取

if ($http_user_agent ~* "DataForSeoBot/1.0" )
{
return 403;
}
3、通过禁止蜘蛛IP方式禁止访问

这个办法不推荐，蜘蛛IP有不少，还会新增改变，很难全部禁止掉。

总结：禁止DataForSeoBot爬虫最佳办法就是直接在服务器规则里面禁止，效果最好。
本文结束

本文来自投稿，不代表站三界导航立场，如若转载，请注明出处：https://www.zhansanjie.com/article/details/10354.html

1、本文系转载，版权归原作者所有，旨在传递信息，不代表看本站的观点和立场。

2、本站仅提供信息发布平台，不承担相关法律责任。

3、若侵犯您的版权或隐私，请联系本站管理员删除。

4、本文由会员转载自互联网，如果您是文章原创作者，请联系本站注明您的版权信息。

上一篇： MJ12bot蜘蛛是什么爬虫，怎么屏蔽

下一篇：如何分辨DDOS CC攻击

DataForSeoBot是什么蜘蛛 爬虫，怎么屏蔽

DataForSeoBot是什么蜘蛛爬虫，怎么屏蔽