百度蜘蛛IP

浏览:2次阅读

提醒:本文最后更新于 2026-05-24 06:46,文中所关联的信息可能已发生改变,请知悉!

搜索引擎蜘蛛是一种通俗的叫法;百度蜘蛛,也就是 Baiduspider, 是百度搜索引擎的一个自动程序。百度蜘蛛 IP 的作用是通过一些手段或者工具,对互联网上的网页、图片、视频等内容进行访问抓取并整理。

编辑

概述
搜索引擎蜘蛛是一种通俗的叫法;百度蜘蛛,也就是 Baiduspider, 是百度搜索引擎的一个自动程序。百度蜘蛛 IP 的作用是通过一些手段或者工具,对互联网上的网页、图片、视频等内容进行访问抓取并整理。

百度蜘蛛 IP

 一、简要介绍

  搜索引擎蜘蛛是一种通俗的叫法,一般指的是一种小程序。这种小程序是用来抓取网上的资源的。搜索引擎不同,蜘蛛的名称也不同。
  百度蜘蛛,即 Baiduspider, 是百度搜索引擎的一个自动程序,其作用是通过一些手段或者工具,对互联网上的网页、图片、视频等内容进行访问抓取并整理。
  百度不同 IP 段的常见蜘蛛,比如降权蜘蛛、沙盒蜘蛛、高权重蜘蛛等等。

 二、百度蜘蛛 IP 的真假辨别方法

  1. 很多站长都会看自己的网站爬行记录的 IP 是多少,以便来区分是百度的蜘蛛还是其他搜索引擎的蜘蛛。因为并不是所有的 IP 段都是百度 IP 段。
  2. 区分:可以通过 dos 命令来查看,比如这两个 IP 段,220.181.108.140 和 117.28.255.37.
然后按照“开始 - 运行 - 输入 cmd”这样的程序进行检验,用命令 nslookup+IP 查看。
  3. 注意:只要是百度的 IP 段,代码中会有:name:baiduspider,如果没有出现,则是其他搜索引擎的蜘蛛 IP 段。

 三、百度蜘蛛 IP 的分类

  由上可知,百度不同 IP 段的常见蜘蛛,比如降权蜘蛛、沙盒蜘蛛、高权重蜘蛛等等。

  百度蜘蛛 IP 造访,准备抓取东西。举例:

  1. 抓取网页的百度蜘蛛

  60.172.229.61
  61.129.45.72
  61.135.162.*

  2. 百度竞价蜘蛛

  61.135.165.134
  117.34.74.66
  125.39.78.185

  3. 百度统计(百度联盟爬虫)

  61.135.186.*

  4. 站长工具模仿的百度蜘蛛

  61.147.98.146
  113.98.154.145
  117.28.255.42

  5.114 站长工具箱(在用户的网站不稳定时,蜘蛛常来)

  119.147.114.213
  121.10.141.*

  6. 百度图片爬虫

  123.15.**.**(这个蜘蛛经常来,别的来的少,表示网站可能要进入沙盒了,或者被降权)

  7. 搜外站长工具蜘蛛

  124.248.34.52

  8. 伪装百度蜘蛛 IP

  180.149.130.*

  9. 降权蜘蛛

  220.181.68.*

四、经验总结

  1. 从 IP 可以看出权重,而且还和网站处于什么情况有一定的关系。对于新站或是处于沙盒中的网站或是被降权的网站,一般百度蜘蛛 IP 是以 123.125.68.* 和 123.125.71.* 这两个为主,并且偶尔出现。
  2. 对于百度蜘蛛的爬取的时候的返回值判断,正常返回是 200,如果返回 301,需要注意网站有没有 301 相关的重定向。若没有,需要进行排查;若跳转了,则是正常情况。


  

 

 

 一、简要介绍

  搜索引擎蜘蛛是一种通俗的叫法,一般指的是一种小程序。这种小程序是用来抓取网上的资源的。搜索引擎不同,蜘蛛的名称也不同。
  百度蜘蛛,即 Baiduspider, 是百度搜索引擎的一个自动程序,其作用是通过一些手段或者工具,对互联网上的网页、图片、视频等内容进行访问抓取并整理。
  百度不同 IP 段的常见蜘蛛,比如降权蜘蛛、沙盒蜘蛛、高权重蜘蛛等等。

 二、百度蜘蛛 IP 的真假辨别方法

  1. 很多站长都会看自己的网站爬行记录的 IP 是多少,以便来区分是百度的蜘蛛还是其他搜索引擎的蜘蛛。因为并不是所有的 IP 段都是百度 IP 段。
  2. 区分:可以通过 dos 命令来查看,比如这两个 IP 段,220.181.108.140 和 117.28.255.37.
然后按照“开始 - 运行 - 输入 cmd”这样的程序进行检验,用命令 nslookup+IP 查看。
  3. 注意:只要是百度的 IP 段,代码中会有:name:baiduspider,如果没有出现,则是其他搜索引擎的蜘蛛 IP 段。

 三、百度蜘蛛 IP 的分类

  由上可知,百度不同 IP 段的常见蜘蛛,比如降权蜘蛛、沙盒蜘蛛、高权重蜘蛛等等。

  百度蜘蛛 IP 造访,准备抓取东西。举例:

  1. 抓取网页的百度蜘蛛

  60.172.229.61
  61.129.45.72
  61.135.162.*

  2. 百度竞价蜘蛛

  61.135.165.134
  117.34.74.66
  125.39.78.185

  3. 百度统计(百度联盟爬虫)

  61.135.186.*

  4. 站长工具模仿的百度蜘蛛

  61.147.98.146
  113.98.154.145
  117.28.255.42

  5.114 站长工具箱(在用户的网站不稳定时,蜘蛛常来)

  119.147.114.213
  121.10.141.*

  6. 百度图片爬虫

  123.15.**.**(这个蜘蛛经常来,别的来的少,表示网站可能要进入沙盒了,或者被降权)

  7. 搜外站长工具蜘蛛

  124.248.34.52

  8. 伪装百度蜘蛛 IP

  180.149.130.*

  9. 降权蜘蛛

  220.181.68.*

四、经验总结

  1. 从 IP 可以看出权重,而且还和网站处于什么情况有一定的关系。对于新站或是处于沙盒中的网站或是被降权的网站,一般百度蜘蛛 IP 是以 123.125.68.* 和 123.125.71.* 这两个为主,并且偶尔出现。
  2. 对于百度蜘蛛的爬取的时候的返回值判断,正常返回是 200,如果返回 301,需要注意网站有没有 301 相关的重定向。若没有,需要进行排查;若跳转了,则是正常情况。


  

 

 

参考资料:1、百度 IP 蜘蛛段
http://jingyan.baidu.com/article/20095761831508cb0621b411.html
2、如何分辨百度真假蜘蛛的 IP 段
http://jingyan.baidu.com/article/64d05a0277aa3ede55f73b12.html
扩展阅读:1、百度蜘蛛 IP
http://blog.sina.com.cn/s/blog_13cb258270102w9x6.html
2、蜘蛛常识—百度蜘蛛 IP 段详解
http://mt.sohu.com/20150901/n420230219.shtml
相关词条:

1、百度蜘蛛抓取规则

2、百度应用

 

1、百度蜘蛛抓取规则

百度蜘蛛抓取规则

2、百度应用

百度应用

 

合作编辑:刘宏月 

刘宏月

豆友百科词条内容均由网友提供,仅供参考。如发现词条内容有问题,请联系管理员。
正文完
 0
douyc
收录声明:网站收录文章,由 douyc 于2016-05-11整理,共计2729字。
转载说明:文章来源于网络收集,如侵权请联系我们删除有关信息.