爬虫安装模块：

requests

pip install requests

selenium

pip install selenium

Chormdriver: http://chromedriver.storage.googleapis.com/index.html

把chrom驱动配置到环境变量中，这样使用的时候，不用每次都填写chrome的驱动位置
下载完成以后将程序复制到 Program files 文件下新建一个文件 chromedriver 复制路径
在我的电脑-->高级-->环境变量-->path编辑-->新建将复制的路径添加

可以这样用

scrapy框架

# python 36
# 使用cd命令进入： D:\python36
pip install Twisted-19.10.0-cp36-cp36m-win_amd64.whl
pip install scrapy
pip install pywin32-224-cp36-cp36m-win_amd64.whl

如果报错

解决方法

pip install wheel
pip install scrapy

新建项目

cd 文件夹名
scrapy startproject 项目名称    # 新建项目

出现如图创建项目成功

创建你的爬虫

cd 项目名称
scrapy genspider baidu daidu.com   # 文件名字 和 域名

解析模块：

bs4

pip install beatufulsoup4==4.7.0

pyquery

pip install pyquery

爬虫环境及框架

原文：https://www.cnblogs.com/Beginner-Y/p/13198609.html