搜索引擎蜘蛛抓取规则



在做 SEO 之前,有必要了解一下搜索引擎蜘蛛的抓取规则

每天都有很多 SEO 人员在在更新着网站的页面,如果搜索引擎的蜘蛛爬虫没有重点的抓取页面,工作量非常庞大。于是,搜索引擎制定了抓取的策略。

蜘蛛爬虫抓取网站页面的策略有哪些呢?

1、深度优先

蜘蛛爬虫在网站页面中发现一个链接后,就会顺着链接进入到下一个页面中,如果在下一个页面中也发现了链接,会继续顺着链接抓取下去。这种抓取方式,就是以深度优先的策略。

2、宽度优先

蜘蛛爬虫先把整个页面的链接全部抓取一次,然后再对下一个页面的全部链接进行抓取,这就是宽度优先策略。这告诉我们,页面的层次太多会导致页面收录困难。

3、权重优先

哪个页面的权重高,蜘蛛爬虫就会优先抓取哪个页面,这就是权重优先。权重是由搜索引擎结合多种因素计算得出的。

4、重访抓取

一、全部重访:蜘蛛爬虫对上次抓取过的链接,在当月的某一天,重新抓取一次。

二、单个重访:蜘蛛爬虫对某个更新频率比较快、比较稳定的页面,周期性的抓取。


了解蜘蛛爬虫的抓取规则,才能更好的做 SEO。


数宇信息 用心做网站。

网站建设 网站设计 网站优化 响应式 自适应 外包 API开发 接口开发 H5开发 APP开发 页面开发 SEO