程序员人生 网站导航

如何判断百度蜘蛛(Baiduspider)是否为假冒,真伪判断

栏目:网络优化时间:2014-01-29 03:41:41

  我们查看IIS日志的时候会看到百度蜘蛛:Baiduspider+(+http://www.baidu.com/search/spider.htm)来爬行我们的网页,但是我们怎么判断爬行我们网站的是不是真正的百度蜘蛛呢。如果你用的是Windows操作系统那么可以用Windows自带的命令行命令tracert来判断是否只真正的百度蜘蛛。

  查看Baiduspider的IP,然后点击开始运行,输入cmd,打开命令行,然后输入tracert 123.125.71.98,这里123.125.71.98代表网站日志里的Baiduspider的IP,那么可以看到如下的内容:

如何判断百度蜘蛛(Baiduspider)是否为假冒,真伪判断

  如果里面有crawl.baidu.com的内容,那么说明就是真正的百度蜘蛛,如假包换。

  上面这个截图里面含有ad,(baiduspider-ad-123-125-71-98.crawl.baidu.com [123.125.71.98]),那么应该是百度联盟的蜘蛛用来抓取页面里的内容以便匹配广告用的。

------分隔线----------------------------
------分隔线----------------------------

最新技术推荐