今天研究了一下C#的网络爬虫，大概用了三种方法：webbrowser,webClient,HttpWebRequest
webbroswer的速度相当慢，但可以进行一些操作，比如可以进行模拟点击等等；
webClient简单 易用，但是灵活性不高。不能下载需要身份验证的网页 刚试了一下，出现了爬取得页面与本页面内容部符合的现象，现在还没有发现问题的所在
HttpWebRequest复杂，灵活性高。需要身份验证的网页用此方法。
原文：http://www.cnblogs.com/lxm123/p/5646282.html