set path 查看当前环境变量
安装scrapy框架：
1.安装“scrapy”:通过”pip install scrapy” 即可安装
2.如果是在windows下，还需要安装“pypiwin32”,如果不安装，运行scrapy项目的时候就会报错
创建一个scrapy项目
创建一个目录。进入目录 按住shift+鼠标右键 打开命令窗口 输入scrapy startproject 项目名
scrapy.cfg 整个项目的配置文件
spiders 所有的爬虫都在里面
items.py 存储所有爬取数据的模型 相当于一个容器
middlewares.py 中间件（爬虫 或者 下载器）
pipelines.py 处理爬取下来的数据
settings.py 给爬虫跟下载配置相关 诸如（给爬虫设置请求头 下载前延迟）
创建一个spider
scrapy genspider 文件名 要爬取的网址
设置settings:
1.ROBOTSTXT_OBEY = False #如果是True回去网站根目录里找取robots.txt文件 如果找不到就返回了
2.设置请求头
DEFAULT_REQUEST_HEADERS = {
‘Accept‘: ‘text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8‘,
‘Accept-Language‘: ‘en‘,
‘User-Agent‘:‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36‘
}
原文：https://www.cnblogs.com/jyjoker/p/11173562.html