- 60浏览
- 2022-04-28
会发现JS、CSS文件被蜘蛛抓取的频率特别高，
于是有人便考虑在robots.txt屏蔽蜘蛛抓取js和css文件，
节省蜘蛛时间给其他页面。
老师认为，屏蔽了这种文件不会对网站有不利影响，相反可以促进其他页面的收录；
但同时很多人认为屏蔽了这两个文件容易被搜索引擎判断为网站作弊。
元芳们，你们怎么看？
以下这个说法值得商榷下：
“蜘蛛抓取一个网站的时间是一定的，限制了某文件被抓取，则它又更多时间去抓取别的网页”
如果不成立，则完全没必要屏蔽CSS和JS了。
如果成立，那要屏蔽的就不止CSS和JS了，很多没实质意义的文件都值得屏蔽。
所以，以上那个论点，值得更多探讨下。
###
我觉得没必要屏蔽，因为搜索引擎会知道哪些是JS、CSS，哪些是网页文件。抓取js和css的蜘蛛应该不会影响网页的抓取频率。
至于搜索引擎抓取js和css，可能跟快照有关，因为现在网站的页面大多是用div+css来建设的，如果没有css的页面会惨不忍睹的。
所以不排除搜索引擎在试图解释JS和CSS文件，来丰富网页的内容，让搜索更精确。
让搜索结果更准确，这个是个人猜测，也许反而是真正的原因。
###
就以往的操作过程而言，我个人没有屏蔽过JS和css文件。
关乎网站性能方面，只是建议将js和css分别整合，css放置在头部，js放在尾部，防止网站载入的时候出现错乱和阻塞。
目前好像没有哪个方面的资料说一定要屏蔽js和css。
大概来讲，遵循两点就可以了：
1：css文件整合，并通过压缩减小其体积，并放置在头部；
2：js文件整合，并通过压缩减小其体积，放置在尾部；
其他代码区域尽量不要出现单独的css和js代码就是比较符合标准的了。
###
经过试验和跟踪数据表明：
1>被屏蔽掉的JS/css文件依然会被baidu和google大量crawl
2>屏蔽后跟踪观察其他page type 蜘蛛crawl量，发现并未增加
3>如果网站大部分js/css文件里包含较多URL可以不屏蔽，蜘蛛爬取js/css文件的同时可以爬取里面的link
4>如果网站大部分js/css文件里基本上都是代码之类的，屏蔽也可，没发现明显的好处也没发现坏处
###
我是屏蔽了 还有夫唯老师发现你回答好多问题都很“谨慎”
你回答时候可以加上一些你自己或者你朋友正常的操作方法啊
我记得以前听夫唯老师上课说是要屏蔽的
###
搜索引擎能抓取的页面量~远远大于我们的网站数据量,抓不抓 css JS 影响没多大
###
现在搜索引擎已经可以辨别 JS CSS文件，平不屏蔽无关紧要了。
只要你的网站压力不要限制，服务器不是太差。
跟你屏不屏蔽，没关系啊
我的网站检测JS N个 收录照常，快照照常 更新
###
这要看网页数量，如果网页数量小到足够被任何蜘蛛任意抓取，那么就没这个必要。
反之，如果网页数量大到蜘蛛抓取不了，那么就需要Nofollow掉，Robots掉一些东西
###
个人认为：
1、未来css文件会成为搜索引擎判断一个页面的参考因素；
2、也许现在搜索引擎已经能够简单的利用css文件理解页面结构了。
###
假设这句话成立：“蜘蛛抓取一个网站的时间是一定的，限制了某文件被抓取，则它又更多时间去抓取别的网页”
对于大型网站来讲，屏蔽CSS和JS文件，还是有必要的。
对于中小型网站来讲，完全没有必要。
###
JS, css是在网页头部里设置 Cache-Control，不需要在Robots.txt里添加。
###
你先尝试屏蔽一部分，看看网站的整体情况和日志分析。
不过我建议等百度12月份调整结束了再试。
###
屏蔽页面,对于搜索引擎来说是非常正常的事情,不然也不会出现Robots.txt这样的用户制定抓取规则的存在
版权声明：
1、本文系转载，版权归原作者所有，旨在传递信息，不代表看本站的观点和立场。
2、本站仅提供信息发布平台，不承担相关法律责任。
3、若侵犯您的版权或隐私，请联系本站管理员删除。
4、本文由会员转载自互联网，如果您是文章原创作者，请联系本站注明您的版权信息。
中国互联网举报中心