热门关键字:   网站安全  黑客攻防  安全漏洞  系统安全  网络安全

robots.txt禁止搜索引擎收录使用语法

发布时间:2010-09-17 09:31文章来源:网络文章作者:秩名 点击次数:
摘要:robots.txt语法其实很简单,robots.txt是一个最简单的.txt文件,用以告诉搜索引擎哪些网页可以收录,哪些不允许收录.那今天本博客就先为大家介绍robots.txt语法基础知识,然后再提供几个经常要用到的robots.txt语法例子给朋友们参考. robots.txt语法规则 最简单...

robots.txt语法其实很简单,robots.txt是一个最简单的.txt文件,用以告诉搜索引擎哪些网页可以收录,哪些不允许收录.那今天本博客就先为大家介绍robots.txt语法基础知识,然后再提供几个经常要用到的robots.txt语法例子给朋友们参考.


robots.txt语法规则


最简单的 robots.txt 语法使用两条规则:
User-Agent: 后面为搜索机器人的名称,后面如果是*,则泛指所有的搜索机器人
Disallow: 限制搜索引擎不能访问网站中的哪些部分,Disallow后可以写目录名,文件扩展名,特定的程序文件结构.


robots.txt语法示例
让所有机器人访问所有文件(通配符"*"表示所有的意思)


1、拦截所有的机器人访问网站
User-agent: *
Disallow: /


2、禁止所有机器人访问特定目录:
User-agent: *
Disallow: /public/
Disallow: /images/
Disallow: /temp/
Disallow: /include/


3、禁止特定搜索引擎蜘蛛访问特定目录(这里我们以百度蜘蛛为例说明)
User-agent: Baiduspider
Disallow: /test/
上面的robots.txt语法示例的意思是禁止百度蜘蛛爬行根目录下的test目录


4、仅禁止Baiduspider抓取.jpg格式图片的robots.txt语法
User-agent: Baiduspider
Disallow: .jpg$


大家在学习robots.txt语法时,可能会感到纳闷的是:有那么多搜索引擎,那我不是要知道所有搜索引擎蜘蛛的名字.并不是这样的,我们只要知道常见的搜索引擎名字就可以了.下面就带大家来认识几大个搜索引擎蜘蛛名称.
1、Google爬虫名称: Googlebot
2、百度(Baidu)爬虫名称:Baiduspider
3、雅虎(Yahoo)爬虫名称:Yahoo Slurp
4、有道(Yodao)蜘蛛名称:YodaoBot
5、搜狗(sogou)蜘蛛名称:sogou spider
6、MSN的蜘蛛名称(微软最新搜索引擎Bing蜘蛛名也是这个):Msnbot

 

标签分类: SEO

上一篇:解析搜索引擎蜘蛛的工作原理
下一篇:ECSHOP网店系统的SEO优化方案