一、架构图
二、流程
1、引擎从调度器中取出一个URL，用于抓取
2、引擎把URL封装成一个请求(start_requests) 传递给下载器
3、下载器把资源下载下来，并封装成Response
4、爬虫解析(parse) Response
5、解析出实体(yield Item)，交给pipelines中的process_item方法
6、解析出URL(yield Response)，则把URL交给调度器等待抓取
原文：https://www.cnblogs.com/wt7018/p/11749856.html