首页 > Web开发 > 详细

网站后台禁止搜索引擎抓取

时间:2014-02-11 03:07:36      阅读:450      评论:0      收藏:0      [点我收藏+]
页面的各大meta标签noindex、nofollow、noarchive及nosnippet用法索引擎更好地理解你的网站内容的种类 . 比如Yahoo!的noodp Meta标签 ,作用就是防止搜索引擎调用ODP上面的描述性语句 .
    Google所支持的Meta标签也不少 ,比如Google官方讲解的就有noindex、nofollow、noarchive及nosnippet . 如果你对Google的长篇大论感到厌倦 ,下面的介绍你将容易理解的多:
noindex:告诉Google不要索引含此标签的网页 . 但根据实际经验 ,Google并非100%遵守 . nofollow:告诉Google不要关注含此标签的网页里的特定链接 . 这是为了解决链接SPAM而设计的Meta标签 . noarchive:告诉Google不要保存含此标签的网页的快照 . nosnippet:告诉Google不要在搜索结果页的列表里显示含此标签的网站的描述语句 ,并且不要在列表里显示快照链接
    相关用法:NOINDEX指令:表示拒绝Robot索引本页 ,但可跟踪该页上的链接;如果某个页面不想被索引 ,那么添加noindex属性就可以了
Robots用来告诉搜索机器人哪些页面需要索引 ,哪些页面不需要索引 . Content的参数有all、none、index、noindex、 follow、nofollow . 默认是all .   
    用法:<Meta name="Robots" Content="All|None|Index|Noindex|Follow|Nofollow">  all:文件将被检索 ,且页面上的链接可以被查询;
none:文件将不被检索 ,且页面上的链接不可以被查询;(和 "noindex, no follow" 起相同作用)   index:文件将被检索;(让robot/spider登录)   ollow:页面上的链接可以被查询;NOINDEX指令:表示拒绝Robot索引本页 ,但可跟踪该页上的链接;如果某个页面不想被索引 ,那么添加noindex属性就可以了.
    Robots用来告诉搜索机器人哪些页面需要索引 ,哪些页面不需要索引 . Content的参数有all、none、index、noindex、        follow、nofollow . 默认是all .    用法:<Meta name="Robots" Content="All|None|Index|Noindex|Follow|Nofollow">   all:文件将被检索 ,且页面上的链接可以被查询; none:文件将不被检索 ,且页面上的链接不可以被查询;(和 "noindex, no follow" 起相同作用)  index:文件将被检索;(让robot/spider登录)  follow:页面上的链接可以被查询;   noindex:文件将不被检索 ,但页面上的链接可以被查询;(不让robot/spider登录)   
nofollow:文件将不被检索 ,页面上的链接可以被查询 . (不让robot/spider顺着此页的连接往下探找

网站后台禁止搜索引擎抓取

原文:http://www.cnblogs.com/lin3615/p/3543623.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!