SEO优化教程技术分享
当前位置: > seo基础知识 > 正文

什么是网站robots.txt文件?

robots用途以及写法
robots.txt文件概念:
 
对于刚接触江西SEO的新手许多都不明白robots.txt是为何物,其实许多网站我们都可以看看他们的robot.txt文件的设置,比如我的是:http://blog.lhj1688.cn/robots.txt,大家可以打开这个链接看下,其实是一个纯文本txt文件,主要是为百度蜘蛛准备的,与用户关系不大,它是百度蜘蛛访问网站首先查看的文件,就是网站和蜘蛛的一个协议,告诉哪些网页可收录,哪些不允许收录,在根目录下放置一个robots.txt是对搜索引擎有好的表现。
 
robots文件用途:
robots.txt是百度蜘蛛会遵循协议,通过根目录创建的robots.txt,可以声明哪些页面不想被百度蜘蛛爬行并收录,每个网站可以自行控制网站哪些被百度蜘蛛收录,或指定百度蜘蛛能收录指定的内容。当百度蜘蛛访问站点时,首先它会检查该站点根目录下是否存在robots.txt,如果该文件不存在,那么爬虫就沿着链接抓取,如果存在,爬虫就在该文件中的限制内容以外访问。

robots一般屏蔽什么:
一般屏蔽隐私页面,后台登陆页面,缓存页面,图片目录,css目录,模板页面等内容,或者屏蔽一些不想传递权重的页面可以通过Disallow命令来进行设置
robots 设置的格式:
User-agent: 定义搜索引擎的类型;
Crawl-delay: 定义抓取延迟
Disallow:定义禁止搜索引擎收录的地址
Allow: 定义允许搜索引擎收录的地址
我是江西艾迪seo,设置好网站的robots对于SEO优化是很有好处的,我们平时要多注意一些细节性的东西,细节决定成败,就像海尔集团总裁张瑞敏有一句名言:“把每一件简单的事做好就是不简单,把每一件平凡的事做好就是不平凡。”

版权保护: 本文由 原创,转载请保留链接: http://www.seoid.cn/News/32.html

博客主人Eddy
资深SEO博主艾迪,分享搜索引擎优化的心得和经验,SEO基础知识、网站建设、网站SEO优化、网站关键词排名等等。承接网站优化推广、SEO优化外包、网站建设。
联系QQ:807523002QQ交流群:827364394

标签