- scrapy:爬虫框架
- 具有哪些功能:异步爬取,高性能的数据解析+持久化存储操作
- 框架:集成了很多功能且具有很强通用性的一个项目模板
- 如何学习框架:
- 学习框架爱的功能模块的具体使用
- 环境的安装:
- 1.pip3 install wheel
- 2.下载twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
- 3.进行下载目录,执行pip3 install Twisted?19.7.0?cp37?cp37m?win_amd64.whl
- 4.pip3 install pywin32
- 5.pip3 install scrapy
- 使用流程:
- 创建一个工程:scrapy startproject firstBlood
- cd firstBlood
- 创建爬虫文件:scrapy genspider first www.xxx.com
原文:https://www.cnblogs.com/bilx/p/11575615.html