合肥SEO优化

合肥seo优化要点:robots文件的介绍

作者:admin 来源:未知 2019-04-16 10:45:28 点击量:我要评论( )

很多人刚入行的小伙伴不理解,为什么网站需要robots文件,robots文件在 seo优化 中的作用是什么?这里我先简单说一下,robots文件其实是一个协议,任何搜索引擎在抓取我们

很多人刚入行的小伙伴不理解,为什么网站需要robots文件,robots文件在seo优化中的作用是什么?这里我先简单说一下,robots文件其实是一个协议,任何搜索引擎在抓取我们的网站的时候,会优先抓取robots,因此,我们网站有不想让搜索引擎看到的页面,或者希望搜索引擎抓取的页面都可以放到里面,比如我们有些分类需要修改,但是我们在修改的时候不想被搜索引擎查看,怕影响网站整体的质量,我们就可以将此分类写进robots文件中。了解了其含义,接下来我们详细说一下robots文件。

robots是站点与spider沟通的重要渠道,站点通过robots文件声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。请注意,仅当您的网站包含不希望被搜索引擎收录的内容时,才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容,请勿建立robots.txt文件。
 
robots文件往往放置于根目录下,包含一条或更多的记录,这些记录通过空行分开(以CR,CR/NL, or NL作为结束符),每一条记录的格式如下所示:
 
"<field>:<optional space> <value> <optionalspace>"
 
在该文件中可以使用#进行注解,具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始,后面加上若干Disallow和Allow行,详细情况如下:
 
User-agent:该项的值用于描述搜索引擎robot的名字。在"robots.txt"文件中,如果有多条User-agent记录说明有多个robot会受到"robots.txt"的限制,对该文件来说,至少要有一条User-agent记录。如果该项的值设为*,则对任何robot均有效,在"robots.txt"文件中,"User-agent:*"这样的记录只能有一条。如果在"robots.txt"文件中,加入"User-agent:SomeBot"和若干Disallow、Allow行,那么名为"SomeBot"只受到"User-agent:SomeBot"后面的 Disallow和Allow行的限制。
 
Disallow:该项的值用于描述不希望被访问的一组URL,这个值可以是一条完整的路径,也可以是路径的非空前缀,以Disallow项的值开头的URL不会被 robot访问。例如"Disallow:/help"禁止robot访问/help.html、/helpabc.html、/help/index.html,而"Disallow:/help/"则允许robot访问/help.html、/helpabc.html,不能访问/help/index.html。"Disallow:"说明允许robot访问该网站的所有url,在"/robots.txt"文件中,至少要有一条Disallow记录。如果"/robots.txt"不存在或者为空文件,则对于所有的搜索引擎robot,该网站都是开放的。
 
Allow:该项的值用于描述希望被访问的一组URL,与Disallow项相似,这个值可以是一条完整的路径,也可以是路径的前缀,以Allow项的值开头的URL 是允许robot访问的。例如"Allow:/hibaidu"允许robot访问/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一个网站的所有URL默认是Allow的,所以Allow通常与Disallow搭配使用,实现允许访问一部分网页同时禁止访问其它所有URL的功能。
 
使用"*"and"$":Baiduspider支持使用通配符"*"和"$"来模糊匹配url。
 
"*" 匹配0或多个任意字符
 
"$" 匹配行结束符。
 
最后需要说明的是:百度会严格遵守robots的相关协议,请注意区分您不想被抓取或收录的目录的大小写,百度会对robots中所写的文件和您不想被抓取和收录的目录做精确匹配,否则robots协议无法生效。

下面我写一个禁止所有搜索引擎和允许所有搜索引擎抓取的robots文件,供大家参考。

禁止所有搜索引擎抓取:

 
User-agent: * 
Disallow: /

允许所有搜索引擎抓取:


User-agent: *
Allow: *

 

本站专注SEO知识分享。

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任。

相关文章
  • 【合肥seo优化】seo网站关键词优化排名教程?

    【合肥seo优化】seo网站关键词优化排名教程?

    2019-09-04 15:14

  • 【合肥seo优化】如何发布高质量seo外链?

    【合肥seo优化】如何发布高质量seo外链?

    2019-08-28 15:05

  • 【seo优化】搜索引擎优化seo有哪些方法?

    【seo优化】搜索引擎优化seo有哪些方法?

    2019-08-28 14:19

  • 【seo外包】seo优化为什么要外包?seo外包的技巧有哪些?

    【seo外包】seo优化为什么要外包?seo外包的技巧有哪些?

    2019-08-27 14:58

网友点评
说点什么吧
  • 全部评论(0
    还没有评论,快来抢沙发吧!