Python网络爬虫——Scrapy框架

- scrapy：爬虫框架
- 具有哪些功能：异步爬取，高性能的数据解析+持久化存储操作
- 框架：集成了很多功能且具有很强通用性的一个项目模板
- 如何学习框架：
　　- 学习框架爱的功能模块的具体使用
- 环境的安装：
　　- 1.pip3 install wheel
　　- 2.下载twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
　　- 3.进行下载目录，执行pip3 install Twisted?19.7.0?cp37?cp37m?win_amd64.whl
　　- 4.pip3 install pywin32
　　- 5.pip3 install scrapy

- 使用流程：
　　- 创建一个工程：scrapy startproject firstBlood
　　- cd firstBlood
　　- 创建爬虫文件：scrapy genspider first www.xxx.com

Python网络爬虫——Scrapy框架

原文：https://www.cnblogs.com/bilx/p/11575615.html