站三界导航
首页 建站经验robots禁止搜索引擎抓取动态网址的方法

robots禁止搜索引擎抓取动态网址的方法

  • 建站经验
  • 来源:站三界导航
  • 56阅读
  • 2022-04-28

所谓的动态网址也就是指URL中包括 ?,& 等字符类的网址,如:news.php?lang=cn&class=1&id=2,当我们在开启了网站的伪静态之后,为了网站的SEO,就很有必要避免搜索引擎抓取我们网站的动态网址。 为什么要这么做?因为搜索引擎在对相同的页面抓取两次之后但最后判定为同一个页面的时候会而对网站做些触发的,具体是怎么处罚的,这个不太清楚,总之是不利于整个网站的SEO的。那么该如何禁止搜索引擎抓取我们网站的动态网址呢? 利用robots.txt文件即可解决这个问题,请看下面的详细操作。 我们知道动态页面都有一个共同的特征,就是在链接里会带有"?"这个问号的符号,因此我们可以在robots.txt文件里写入如下这样的规则: User-agent: * Disallow: /*?* 这样即可禁止搜索引擎抓取整个网站的动态链接了。另外如果我们只想让搜索引擎抓取指定类型文件,如html格式的静态页面,可在robots.txt里面加入如下这样的规则: User-agent: * Allow: .html$ Disallow: / 另外记得一定要将写好的robots.txt文件放在你网站的根目录中哦,不然是不起作用的。另外写入规则有一个简便的捷径,登陆google网站管理员工具,只接在里面写入规则后,生成robots.txt文件即可。 本文结束
本文来自投稿,不代表站三界导航立场,如若转载,请注明出处:https://www.zhansanjie.com/article/details/3340.html

版权声明:

1、本文系转载,版权归原作者所有,旨在传递信息,不代表看本站的观点和立场。

2、本站仅提供信息发布平台,不承担相关法律责任。

3、若侵犯您的版权或隐私,请联系本站管理员删除。

4、本文由会员转载自互联网,如果您是文章原创作者,请联系本站注明您的版权信息。

分享
站三界导航
本站声明:本站严格遵守国家相关法律规定,非正规网站一概不予收录。本站所有资料取之于互联网,任何公司或个人参考使用本资料请自辨真伪、后果自负,站三界导航不承担任何责任。在此特别感谢您对站三界导航的支持与厚爱。