站三界导航
首页 建站经验clouflare的Crawler Hints功能

clouflare的Crawler Hints功能

  • 建站经验
  • 来源:站三界导航
  • 159阅读
  • 2023-02-10

最近听很多站长说,提交必应搜索,流量挺多的,然后我今天抽空去登录了必应站长后台。发现其实之前已经提交过了网站,就在前一年的事情了。说起登录的时候,我发现使用360极速浏览器,登录后,显示账户未授权,刚开始以为是被拉黑了。后面使用谷歌浏览器登录后,一切正常。

第一时间把网站地图更新了,发现已经捉取失败,重新提交一下地图链接已经成功了。必应提交文章链接有三个途径:第一个主动提交文章url,第二个使用api提交,第三个提交网站地图链接。

其实必应搜索流量还是有的,在后台可以精准看到某个关键词的展现数量和点击数。发现其实必应有收录自己的文章内页,但是没有收录了首页。

先讲一下如何批量将全部文章链接提交一次到必应蜘蛛捉取。其实很简单,像我这样,在zblog应用中心,下载一款免费的网站地图插件,支持生成txt文件的。生成后打开,就可以了。

注意:一次只能提交500个链接,所以如果自己的网站链接太多了,只能分批次去提交。提交后我发现陆续来蜘蛛捉取了。

你想要必应收录你的网站,就不要屏蔽国外ip访问,我之前就是因为屏蔽了,所以导致现在很多链接已经失去了收录。目前来说使用cloudflare,防火墙规则里面可以设置不拦截搜索蜘蛛,自己设置了目前来说正常。

而且最近cloudflare有一个新的功能名字叫:Crawler Hints。

当使用Cloudflare的站点更改其内容时,爬虫提示会为搜索引擎和其他爬虫提供高质量的数据。这使得爬虫能够精确地进行爬取,避免浪费性爬取,并普遍减少源和其他互联网基础设施的资源消耗。

爬虫提示如何工作?

启用后,当我们认为您网站上的内容已更改并需要重新编制索引时,Cloudflare会将信号推送到运行大型抓取操作的网络(例如搜索引擎)。

搜索引擎根据提供商的不同算法抓取您的网站。通常节奏,搜索引擎抓取您的网站是基于定期间隔或有关过去网站更新的数据,这些因素可能与现实世界的内容变化不一致。

这种爬行方法不仅会损害客户页面排名,还会损害搜索引擎的运营成本和环境影响。Crawler Hints的目标是帮助搜索索引器在内容发生变化时做出更明智的决定,从而使互联网更环保、更节能。

我是这样理解的:

这个功能是不是有点类似于百度云加速里面的seo功能,能第一时间通知蜘蛛。毕竟你使用是它们的cdn,那边会储存到你的网站数据,调用时候很方便。

然而cloudflare是国外的一个防护网站平台,会不会跟必应搜索有合作关系?不妨试一下。目前多提交一个搜索引擎多一份流量,做站长没必要“闭关锁国”。而且必应搜索也支持在国内直接访问,对于很多人,现在习惯性地使用必应来搜索问题。
本文结束
本文来自投稿,不代表站三界导航立场,如若转载,请注明出处:https://www.zhansanjie.com/article/details/40184.html

版权声明:

1、本文系转载,版权归原作者所有,旨在传递信息,不代表看本站的观点和立场。

2、本站仅提供信息发布平台,不承担相关法律责任。

3、若侵犯您的版权或隐私,请联系本站管理员删除。

4、本文由会员转载自互联网,如果您是文章原创作者,请联系本站注明您的版权信息。

分享
站三界导航
本站声明:本站严格遵守国家相关法律规定,非正规网站一概不予收录。本站所有资料取之于互联网,任何公司或个人参考使用本资料请自辨真伪、后果自负,站三界导航不承担任何责任。在此特别感谢您对站三界导航的支持与厚爱。