Robots文件应该怎么看

在seo中Robots文件是必不可少的，写好一个Robots文件可以让搜索引擎的蜘蛛更好的爬去网站上的内容，可以使你的网站更好的被各大搜索引擎收录，可是很多的SEO站长并没有学习过代码，甚至很多的站长都不知道robots这个文件夹什么样该怎么看，今天小编我来给大家介绍一下，希望能帮助到大家。

首先应该知道的是，robots文件是一个普通的文本文档，是放在网站的根目录下面的，在网站首页的展现位置，在什么地方都可以，最好是放在最上边或者是最下边比较好，不占空间。

第一种：允许所有搜索引擎访问

用：User-agent:， Disallow:或者User-agent: *Allow: /标签进行设置。

第二种：禁止所有搜索引擎访问

用User-agent: *Disallow: /或者User-agent: *allow:进行设置。

第三种：禁止所有搜索引擎访问网站中的某个目录，在这里我用a、b、c来表示目录的文件夹。

User-agent: *

Disallow: /a/ Disallow: /b/ Disallow: /c/

如果是允许访问某个目录，则是用

Allow: /a/ Allow: /b/ Allow: /c/来表示

第四种、禁止某个搜索引擎蜘蛛的访问，我用d来表示目录的文件夹。

那么，可以写为

User-agent: w Disallow: /

或User-agent: w Disallow: /d/*.htm

在Disallow:后面加 /d/*.htm的意思是表示：禁止搜索引擎访问d目录下的所有以htm的文件，包含子目录文件。

第五种、只允许某个搜索引擎的访问，我用e来表示某个搜索引擎

写法是：User-agent: e Disallow:

在Disallow：后面不加任何东西，意思表示仅允许e这个搜索引擎可以访问该网站。

第六种、使用”$”来限制访问url

用法：

User-agent: * Allow: .htm$ Disallow: /

意思表示为：仅允许搜索引擎访问以”.htm”为后缀文件。

第七种：禁止访问网站中所有的动态页面

User-agent: * Disallow: /*?*

ps：只要是带一些奇奇怪的符号比如“*”“？”这些都是动态页面。

第八种：禁止搜索引擎F抓取网站上所有图片；

写作方式：jpg png gif bmp jepg 类型

User-agent: F

Disallow: .jpg$

Disallow: .jpeg$

Disallow: .gif$

Disallow: .png$

Disallow: .bmp$

意思是表示：只允许引擎抓取网页内容，但是禁止抓取jpg、jpeg、gif、png、bmp格式的图片。

第九种：只允许某个搜索引擎抓取网页和.gif格式图片

User-agent: E

Allow: .gif$

Disallow: .jpg$

Disallow: .jpeg$

Disallow: .png$

Disallow: .bmp$

意思是只允许抓取网页和gif格式图片，不允许抓取其他格式图片