台州温岭做网站请找我们 (专业建站 | 诚信服务) 13958630945 在线客服 联系技术

佳源设计|台州网站建设|佳源网页设计

网站当前位置: 首页>>做网站该如何Seo>>设置robots.txt允许所有的robot访问
做网站该如何Seo
 
百度优化知识
 
Google优化知识
 
做网站该如何Seo
设置robots.txt允许所
网站和搜索引擎的关系和设置搜索
企业网站优化增加外链数量的方法
301重定向检测工具 HTTP
网站内部优化该注意点
外链分析查询工具
怎样做网站404页面?
相同文章只收录一次吗?
做seo必须懂的十条搜索引擎语
免费的SEO工具欢迎转载
优化网站制作尽量同时满足W3C
什么是导入链接什么是导出链接?
台州网站温岭网站网络公司之搜索
怎么查查关键字排名呢?
网站被K后的分析和解决办法
更换域名时转移权重的技巧301
pr输出值是什么
Google命令语法大全
如何做到让百度快速收录你的文章
网站建设如何做到维护少仍排名好
做网站该注意哪些基本要素?
如何发外链最有效
网站优化了为什么还是没有询盘呢
交换友情链接该注意几点
如何快速突破网站流量瓶颈-建站
 
 建站知识搜索
 
 做网站该如何Seo > 设置robots.txt允许所有的robot访问

设置robots.txt允许所有的robot访问

7525次浏览
2011-08-27

robots.txt是一个纯文本文件,当网络蜘蛛来抓取网站的时候,首先就是访问这个网站的robot.txt文件。所以网站管理者都会在robots.txt文件中声明该网站中不想被robots访问的部分,或者只允许指定的搜索引擎收录指定的内容。很明显robot.txt对我们做seo来说是很重要的。

下面来看看应该怎么写robot.txt?

1、user-agent和Disallow是robot里面的俩个重要的函数。
2、robot.txt的编写及范本:

例如:

robots.txt文件用法举例

例1. 禁止所有搜索引擎访问网站的任何部分
下载该robots.txt文件
User-agent: *
Disallow: /
例2. 允许所有的robot访问
(或者也可以建一个空文件 "/robots.txt")
User-agent: *
Allow: /
例3. 仅禁止Baiduspider访问您的网站 User-agent: Baiduspider
Disallow: /
例4. 仅允许Baiduspider访问您的网站 User-agent: Baiduspider
Allow: /

User-agent: *
Disallow: /
例5. 仅允许Baiduspider以及Googlebot访问 User-agent: Baiduspider
Allow: /

User-agent: Googlebot
Allow: /

User-agent: *
Disallow: /
例6. 禁止spider访问特定目录
在这个例子中,该网站有三个目录对搜索引擎的访问做了限制,即robot不会访问这三个目录。需要注意的是对每一个目录必须分开声明,而不能写成 "Disallow: /cgi-bin/ /tmp/"。
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
例7. 允许访问特定目录中的部分url User-agent: *
Allow: /cgi-bin/see
Allow: /tmp/hi
Allow: /~joe/look
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
例8. 使用"*"限制访问url
禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
User-agent: *
Disallow: /cgi-bin/*.htm
例9. 使用"$"限制访问url
仅允许访问以".htm"为后缀的URL。
User-agent: *
Allow: /*.htm$
Disallow: /
例10. 禁止访问网站中所有的动态页面 User-agent: *
Disallow: /*?*
例11. 禁止Baiduspider抓取网站上所有图片
仅允许抓取网页,禁止抓取任何图片。
User-agent: Baiduspider
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$
例12. 仅允许Baiduspider抓取网页和.gif格式图片
允许抓取网页和gif格式图片,不允许抓取其他格式图片
User-agent: Baiduspider
Allow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.png$
Disallow: /*.bmp$
例13. 仅禁止Baiduspider抓取.jpg格式图片 User-agent: Baiduspider
Disallow: /*.jpg$


页面所在本站地址: http://www.52-life.net/N_robots.htm
上一篇 >>如何发外链最有效
下一篇 >>免费的SEO工具欢迎转载