首页 > 其他 > 详细

II7/IIS8屏蔽YisouSpider蜘蛛

时间:2014-12-12 16:27:35      阅读:372      评论:0      收藏:0      [点我收藏+]

来源:http://www.0531s.com/content-46-1927014-1.html

YisouSpider蜘蛛抓取网页能够导致CPU暴涨,影响其他蜘蛛和用户的访问,多次实验后,发现IIS自带的URL重写可以起到作用。
首先选择需要进行屏蔽的网站,然后打开URL重写。
打开入站规则
bubuko.com,布布扣
打开添加规则,选择请求阻止
bubuko.com,布布扣
点击确定,在新弹出的界面,访问阻止依据中选择用户代理表头
bubuko.com,布布扣
在模式(用户代理标头)中输入:YisouSpider,点击确定,这样就可以组织YisouSpider对本站的请求,CPU使用率骤减。
bubuko.com,布布扣 

II7/IIS8屏蔽YisouSpider蜘蛛

原文:http://www.cnblogs.com/xiangboren/p/4159884.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!