- 58浏览
- 2022-04-28
但是，很多人观看自己的网站日志文件的时候，会发现有部分蜘蛛引擎，会经常爬取自己的网站，比如说，YandexBot 爬虫蜘蛛！
这是俄罗斯的一家搜索引擎，我们一般把YandexBot 爬虫蜘蛛叫做俄罗斯蜘蛛，如果你建设的是中文站，基本上这个蜘蛛是可以屏蔽的！
有人会有疑问，建站之后，越多蜘蛛爬行，证明网站的价值越高，为什么要屏蔽这些蜘蛛呢？
为什么要屏蔽YandexBot？
因为我们的网站针对的是国内的搜索引擎，比如百度、搜狗、360这些，除非你做的是外贸网站，对于国外的蜘蛛引擎来说，有必要抓取！才不用屏蔽！
当然，如果只是这些蜘蛛引擎对于我们网站的关键词和流量没有帮助的情况下，我们也可以不屏蔽，但是为什么我要强调必须屏蔽呢？
因为，这些无用蜘蛛在爬行网站的时候，也是要浪费你的网站服务器资源的，占用你的CPU，大量蜘蛛爬行网站的情况下，对你的网站资源占用就会跟高，极容易造成网站的卡顿！
甚至有一部分人也发现了，网站平时比较快，偶尔会慢几分钟，超级慢，服务器和域名解析之类都没有问题，慢几分钟之后，就会恢复原来的速度！
这时候，极有可能是因为蜘蛛引擎在大量爬行你的网站造成的，所以，我们才会想办法屏蔽这些无用的蜘蛛！
怎么屏蔽YandexBot蜘蛛？
在你的网站的根目录中，找到robots.txt文件，顶部加入两行代码：
User-agent: YandexBot
Disallow: /
这样，我们就可以把这个无用的俄罗斯蜘蛛YandexBot给屏蔽掉了，过几天之后，再检查网站日志，你就会发现，YandexBot不再到你的网站爬行了！
版权声明：
1、本文系转载，版权归原作者所有，旨在传递信息，不代表看本站的观点和立场。
2、本站仅提供信息发布平台，不承担相关法律责任。
3、若侵犯您的版权或隐私，请联系本站管理员删除。
4、本文由会员转载自互联网，如果您是文章原创作者，请联系本站注明您的版权信息。
中国互联网举报中心