程序员人生 网站导航

百度对robots.txt的反应时间约为14天

栏目:网络优化时间:2014-05-15 14:29:57

  百度对robots.txt的反应大概是多久呢?小编做了一个试验,情况大约是这样子的,我之前在博客,因为一些模板上的失误,在一些“.html”后面加入了一个问号,变成了“.html?”,后来我观察了搜索引擎,发现它们都将“.html”和“.html?”这两个URL当成了两个不同的URL(只有google例外,我估计它会自动处理掉一次空的查询)。所以我决定用“robots.txt”将这种情况改过来,顺便说下这次更改对博客的影响,我当时博客的情况是:

  发表文章3小时内获取收录还有排名(搜索相关的关键词可以找得到,长尾关键词可以在第一页找到)

  内页有近一半的URL是“.html?”的形式

  我在6月29号开始修改robots.txt,禁止收录.html?这种格式的URL,同时将模板上的BUG修复。接着继续发表文章,不过文章没有在3小时内被收录了,等到周四更新的时候才放出来,这时,依旧获得不错的排名,并没有因此被降权或是干吗。

  到了7月2-3号,收录开始下降了,到周四的更新,收录只有39了。基本上大量“.html?”全被K掉了,只留了少量的,不知道是不是ZZ没有重新爬那几个URL的原因,这一点不好说,有空分析下日志再看看。

  修改robots.txt在百度的影响

  综上所述,修改robots.txt禁止一些收录的URL对百度的影响还是有一些的:至少影响了网站的信任度(收录没那么快了)。而且还有一个未知的原因,那些被禁止的“.html?”的正规URL“.html”的收录不知道会在几时,会不会被认为是重复页面给K掉了,这些都不好说,只有等待观察了

------分隔线----------------------------
------分隔线----------------------------

最新技术推荐