SEO 中提及的蜘蛛是什么 ?



概念

蜘蛛程序一般是指网页蜘蛛,网页爬虫,是按照一定的规则,自动从一个网页地址“爬行”到另一个网页地址,收集网页信息的程序。

每个搜索引擎都会有它自己的的蜘蛛程序,模拟人工访问网站的方式,读取网页的内容,如果是优质的内容就会被收录。 当用户搜索时根据一定的规则进行排序后展示给用户。

怎么让蜘蛛抓取我的网页呢 ?

一、主动推送,告知搜索引擎“嘿,我有新页面了,快来抓取吧”。这是最为快速的提交方式,建议将站点当天新产出链接立即通过此方式推送给百度,以保证新链接可以及时被百度收录。

二、sitemap。可以定期将网站链接放到 sitemap 中,然后将 sitemap 提交给百度。百度会周期性的抓取检查您提交的 sitemap,对其中的链接进行处理,但收录速度慢于主动推送。

三、从其它网站上面发现我们的链接(比如友链),也就是我们常说的 SEO 外链

四、通过浏览器访问我们的网页,浏览器会感知到。我们的网页地址会被蜘蛛抓取

加快蜘蛛收录的几个要点

1、优化网站打开速度,这是网站优化中最基本的一个。可以想象一个,如果蜘蛛程序都无法访问你的网站,半天都打不开网页,谈何抓取呢 ?即使再优质的内容也是没有意义的。

2、URL 路径优化,蜘蛛程序喜欢简短,静态,没有包含动态字符的路径。

3、内容是网站的灵魂。当蜘蛛对网页内容进行抓取,并将其与已收录的内容进行对比,如果发现大量的相似内容或低质量内容,就会放弃收录和建立索引。

4、sitemap。蜘蛛进入一个网站,首先会抓取跟目录的 robots 文件,可以将 sitemap 放入 robots 文件中,能够让蜘蛛第一时间看到,这也是加快页面收录的一种。


数宇信息 用心做网站。

网站建设 网站设计 网站优化 响应式 自适应 外包 API开发 接口开发 H5开发 APP开发 页面开发 SEO