-
CrawlSpider
- 它就是一个类,是scrapy.Spider的一个子类(派生类)
- 功能:
- 两个属性(对象)
- 链接提取器
- 如何进行链接的提取
- 由开发人员制定相关规则
- 通过相应的规则进行链接的提取
- 去哪进行链接的提取
- 规则解析器
- 创建项目: scrapy startproject budejiepro
- 创建基于crawlspider的爬虫文件:
- cd budejiepro
- scrapy genspider -t crawl budejie www.xxx.com
- 执行爬虫文件:
- 进入到爬虫文件夹
- 使用命令执行: scrapy runspdier budejie.py
CrawlSpider
原文:https://www.cnblogs.com/youhongliang/p/12193647.html