什么是 robots 文件,有什么作用 ?



在做 SEO 之前,有必要了解一下什么是 robots 文件,有什么作用

概念

robots 文件,全名是 robots.txt。放于网站的根目录下,是给搜索引擎蜘蛛读取的,是网站跟爬虫间的协议。 robots.txt 中的内容用来指明蜘蛛访问限制,网站中那些目录希望被抓取,哪些不希望抓取。

作用

当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在 robots.txt, 如果存在,搜索蜘蛛就会按照该文件中的内容来确定访问的范围。 如果该文件不存在,搜索蜘蛛将能够访问网站中所有没有做蜘蛛访问限制的页面。 需要注意的是,robots 不是一个规范,而只是约定俗成的,并不能保证所有的搜索蜘蛛都遵守。

使用技巧

一、robots.txt 文件应该存在。虽然当不存在的时候,就是默认所有页面都允许被抓取。

二、若有些文件不想被抓取,可以在 robots.txt 文件中写明禁止规则。

三、robots.txt 文件中的允许,禁止规则,是针对网站里的目录的,但也可以针对具体的文件。不过,对于具体的页面,还可以在页面中用 meta 标签单独指定页面级别的禁止,允许规则。


数宇信息 用心做网站。

网站建设 网站设计 网站优化 响应式 自适应 外包 API开发 接口开发 H5开发 APP开发 页面开发 SEO