总结起来，有俩点最重要：
1）scrapy使用twisted异步网络框架，类似nodejs，性能高；
2）scrapy内置的selector比beautifulsoup效率要高很多；
为什么要使用scrapy而不是requests+beautifulsoup？
原文：http://www.cnblogs.com/feiying100/p/7259768.html
