1.创建项目

2.进入项目，创建爬虫

cd 项目名
scrapy genspider 项目列表名 初始url（后面可以修改）

cd scrapyPro
scrapy genspider chouti chouti.com

3.展示爬虫应用列表

scrapy list

chouti

4.运行爬虫应用

scrapy crawl 爬虫应用名称

scrapy crawl chouti --nolog　　#--nolog不打印日志

项目结构

project_name/
   scrapy.cfg　　#项目的主配置文件
   project_name/
       __init__.py
       items.py　　#设置数据存储模板，用于结构化数据：类似于Django中models
       pipelines.py　　#数据处理行为：如数据的持久化
       settings.py　　#配置文件：递归层数，并发数等
       spiders/　　#爬虫目录，我们可以创建多个爬虫在此
           __init__.py
           爬虫1.py
           爬虫2.py
           爬虫3.py

scrapy框架

原文：https://www.cnblogs.com/xuezhihao/p/11636153.html