程序员人生 网站导航

苏笛康:实测搜狐微博是否屏蔽百度蜘蛛

栏目:网络优化时间:2013-10-06 16:56:14

  事件:

  只要了解SEO的朋友都知道最近利用搜狐微博抢夺百度长尾词流量的事情。由于各种原因,苏笛康并未搀和进这件事。2011年6月9日,苏笛康所在的团队QQ群突然转发一个消息,称搜狐微博屏蔽百度蜘蛛了,并提供了一个Admin5论坛的帖子的URL。经过分析,苏笛康认为,搜狐微博并未屏蔽百度蜘蛛,上述言论是对搜狐微博的Robots.txt文件误读引起的。

  材料:

  搜狐微博Robots.txt文件内容(2011年6月9日晚):

  User-agent: Baiduspider

  Disallow:

  User-agent: Sogou

  Allow: /

  User-agent: *

  Disallow: /

  分析:

  首先,我们看搜狐微博Robots.txt第一部分,针对的是百度蜘蛛。

  在百度搜索帮助中心的指南(http://www.baidu.com/search/robots.html)可以找到这么一句——“Disallow:”说明允许robot访问该网站的所有URL。

  因此,第一部分的语句,允许百度蜘蛛抓取所有的URL。

  第二部分就不用看了,界定的是搜狗搜索引擎的蜘蛛抓取权限。

  最后我们看第三部分,这部分使用通配符,限定所有的搜索引擎,不允许抓取根目录(相当于不允许抓取任何URL)。这里我们仍然需要关注百度搜索帮助中心的解释。百度官方的文件是这样说的——需要特别注意的是Disallow与Allow行的顺序是有意义的,robot会根据第一个匹配成功的Allow或Disallow行确定是否访问某个URL。所以,第三部分的禁止指令,对百度蜘蛛而言,是无效的。百度蜘蛛根据第一部分的要求,可以抓取所有URL。

  实测:

  空口无凭,我们可以实际测试一下。已知百度和Google对待Robots.txt文件的处理方式是一样的,故而我们可以使用谷歌网站管理员工具中的“抓取工具的权限”功能来测试一下。

  由于谷歌网站管理员工具只能测试已经验证所有权的网站,我这里用自己的博客来测试。

  首先在测试用的Robots.txt中填写如下信息:

  User-agent: Googlebot

  Disallow:

  User-agent: Sogou

  Allow: /

  User-agent: *

  Disallow: /

  (注意,受测试环境影响,使用Googlebot代替百度蜘蛛,不过这不影响测试结果)

  然后用谷歌网站管理员工具测试Googlebot抓取首页(http://www.sudikang.com)的结果,反馈如下:

  第 2 行 Disallow: 允许访问此网址

  检测为目录;具体文件可能有不同限制

  实测证明,搜狐微博的Robots.txt没有屏蔽百度蜘蛛。

  经验:

  从事SEO工作,要重视两个东西:第一,搜索引擎官方的公开文档,尤其是百度和Google的正式资料,这些资料会透露很多搜索引擎对网页的处理方法;第二,要重视谷歌提供的各种工具,尤其是网站管理员工具,可以通过这些工具进行各种测试。

  本文作者:网络营销分析师苏笛康,国内第一批通过中国电子商务协会认证SEO工程师。个人博客:http://www.sudikang.com (邮件订阅该博客赠送微博营销电子书)。

------分隔线----------------------------
------分隔线----------------------------

最新技术推荐