Python中可以用来爬取网络数据的库有很多，常见的有：urllib、urllib2、urllib3、requests、scrapy、selenium等。
基本上可以分为3类：
第一类：urllib、urllib2、urllib3、requests；
第二类：scrapy；
第三类：selenium；
第一类是python自带的库，其中requests上手简单，功能强大,缺点就是缺少配套工程，自己需要自己写不少的代码处理语料(哈哈，urllib、urllib2、urllib3不建议画太多精力在上面)；
第二类和第三类是封装好的框架，功能强大，配套的工程多，但上手相对复杂；
Scrapy和requests比较难以处理动态网页，selenium比较适合处理动态网页；
相反的，Scrapy适合大规模的数据爬取，而selenium只适合小规模的数据爬取。
原文：https://www.cnblogs.com/cxf-zzj/p/9740353.html