网站robots文件的作用以及如何写
编辑：Simone
2024-10-27 11:04:02
573 阅读
网站后台里面的robots文件的作用是可以像搜索引擎反映哪些页面是我不想被收录的页面，一般来说网站或多或少都存在一些对排名没多大帮助反而还有害的页面。所以这个时候就需要用到robots文件。
一.robots的原理
robots文件的作用刚也说到了，一般搜索引擎蜘蛛会优先访问网站内部的robots文件，根据文件内设置的规则不再去抓取那些你像要屏蔽的网页网址。
二.robots的文件格式
1.Disallow:该项的值用于描述不希望被抓取的URL链接
2.Allow:该项的值用于描述希望被抓取的URL链接
3.User-agent:该项的值用于描述搜索引擎robot的名字
三.robots的文件存放位置
通常robots文件直接存放于网站ftp后台的根目录路径即可，一般搜索引擎蜘蛛优先发文的也是网站的根目录下的robots。
四.robots的文件格式
通常robots的文件格式用一般的txt文本格式即可，保存的字符编码为utf-8标准字符即可。
五.robots的通配符介绍
星号*，表示匹配0个或多个任意字符；
美元符号$，表示行结束符；
版权声明：本站【趣百科】文章素材来源于网络或者用户投稿，未经许可不得用于商用，如转载保留本文链接：https://www.qubaik.com/article/34783.html
