首页 > 编程语言 > 详细

python之scrapy五大核心组件

时间:2021-04-26 15:40:54      阅读:20      评论:0      收藏:0      [点我收藏+]

-五大核心组件

   -引擎(Scrapy

    -用来处理整个系统的数据流处理,触发事务(框架核心)

  -调度器(Schedule)

    -用来接受引擎发过来的请求,压入队列中,并在引擎再次请求的时候返回,可以想象成一个URL(抓取网页的网址或者说是链接)的优先队列,由它来决定下一个要抓取的网址是什么,同时去除重复的网址。

  -下载器(Downloader

    -用于下载网页内容,并将网页内容返回给蜘蛛(Scrapy)下载器是建立在twisted这个高效的异步模型上的

  -爬虫(Spider

    爬虫是主要干活的,用于从特定的网页中提取自己需要的信息,即所谓的实体(item)。用户也可以从中提取出链接,让Scrapy链接抓取下一个页面。

  -项目管理(Pipeline

    -负责处理爬虫从网页中抽取的实体,主要的功能是持久化实体、验证实体的有效性、清楚不需要的信息。当页面被爬虫解析周,将被发送到项目管道,并经过几个特定的次序处理数据。

技术分享图片

python之scrapy五大核心组件

原文:https://www.cnblogs.com/industrial-fd-2019/p/14704240.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!