提醒：本文最后更新于 2026-05-24 06:20，文中所关联的信息可能已发生改变，请知悉！
搜索引擎爬虫（又被称为网页蜘蛛，网络机器人），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。
编辑
网站对搜索引擎蜘蛛不友好的因素
1、robotx.txt 文件
2、nofollow 标签
3、flash
4、图片
5、JavaScript
6、网站游览权限
7、强制使用 cookies
8、HTTP 返回码
9、服务器
10、域名解析
11、网站程序完善
12、动态 URL
13、框架结构
14、session id
网站建设如何吸引蜘蛛来抓取网站内容
1、网站和页面的权重大小依然被作为衡量网站价值的重要标准，高质量老资格的网站被百度评为高权重，这种网站的页面被蜘蛛抓取的机率比较高，所以会有很多内页被收录。
2、页面更新频率会直接影响蜘蛛的光临频率，蜘蛛把每次光临获得的页面数据保存到服务器上，如果下次光临页面发现内容跟储存数据相同，那么会被蜘蛛认为页 面不会经常更新，然后会给网站一个优先级，来决定以后光临的时间和频率。如果网站内容经常更新，每次蜘蛛抓取的内容都不一样，那么蜘蛛会更加频繁的访问这 类页面，页面出现的新连接也自然会被爬取收录。
3、引导链接的建立，无论网站的外部链接或内部链接，想要被蜘蛛抓取，必须有引导链接进入页面，所以内部链接的合理性搭建非常重要，否则蜘蛛无法发现页面的存在。高质量的外部链接导入也是非常重要的，会增加蜘蛛跟踪爬行深度的增加。
4、建立首页的引导链接，蜘蛛访问最频繁的是首页，有内容更新时，一定要在首页体现出来并建立链接，便于蜘蛛最快抓取到，增加抓取机会。
5、原创内容，蜘蛛最厉害的是会对网站新发布内容同服务器收录数据做比对，如果是抄袭或部分修改的非原创伪原创内容，百度是不会收录的，如果经常发布的是非原创内容，那么也会降低蜘蛛的光临频率，严重的直接不收录，甚至 0 收录。
常见搜索引擎爬虫
Google 爬虫
算法优秀，反应速度迅速，对内容质量把握优秀，中等强度爬虫程序，对服务器负担不大，推广效果好。
对应 user-agent：爬虫名称
Googlebot：google 网页爬虫
Googlebot-news：google 新闻爬虫
Googlebot-image：google 图片爬虫
Googlebot-video：google 视频爬虫
Googlebot-mobile：google 移动爬虫
Mediapartners-google 或 Mediapartners(googlebot)：google 广告爬虫
Adsbot-google：google 着陆页质量检测爬虫
百度爬虫
算法良好，反应速度迟钝，对内容质量把握一般，高强度爬虫程序，由于算法优化不良问题，对服务器负担较大，本身小问题也挺多，隐私保护恶劣，在百度面前无隐私可言，推广效果好。
对应 user-agent：爬虫名称
Baiduspider：百度网页爬虫兼移动爬虫
Baiduspider-image：百度图片爬虫
Baiduspider-video：百度视频爬虫
Baiduspider-news：百度新闻爬虫
Baiduspider-favo：百度搜藏爬虫
Baiduspider-cpro：百度联盟爬虫
Baiduspider-ads：百度商务爬虫
好搜（即 360）爬虫
对应 user-agent：爬虫名称
360spider 或 haosouspider：好搜网页爬虫兼移动爬虫
360spider-image：好搜图片爬虫
360spider-video：好搜视频爬虫
搜狗爬虫
算法恶劣，反应速度极其迟钝，不能良好的把握内容质量，高强度爬虫程序，由于算法奇差，会对页面进行大量反复而又无实际意义的扫描，对服务器负担很大，抓取压力大，综合性价比非常低。
对应 user-agent：爬虫名称
Sogou spider：搜狗综合爬虫
新浪爱问爬虫
对应 user-agent：爬虫名称
Iaskspider：新浪爱问爬虫
有道爬虫
对应 user-agent：爬虫名称
YodaoBot：网易有道爬虫
Alexa 爬虫
对应 user-agent：爬虫名称
ia_archiver：Alexa 爬虫
雅虎爬虫
对应 user-agent：爬虫名称
Yahoo! Slurp：雅虎爬虫
必应爬虫
对应 user-agent：爬虫名称
Bingbot：必应爬虫
