首页 > 其他 > 详细

【头条】隐身爬虫

时间:2014-11-05 00:18:42      阅读:312      评论:0      收藏:0      [点我收藏+]
开发的一个系统中其中有一个抓取第三方网站信息的功能,但是,系统运行一段时间后,被对方服务器拒绝抓取。
解决办法,只要我们伪装成浏览器。即可继续正常运行。
 
1 private static readonly string DefaultUserAgent = "User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.0.3705;)";  
2 
3 
4 
5 //获取信息
6  
7 HttpWebRequest request = WebRequest.Create(strCoumnTopPage) as HttpWebRequest;
8 request.Method = "GET";
9 request.UserAgent = DefaultUserAgent;

 

【头条】隐身爬虫

原文:http://www.cnblogs.com/zhuojun/p/4075187.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!