Scrapy-Web爬虫框架初识、安装、基本使用

时间：2021-05-23 15:14:09 阅读：24 评论：0 收藏：0 [点我收藏+]

一、Scrapy初识

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。所谓的框架就是一个已经被集成了各种功能(高性能异步下载，队列，分布式，解析，持久化等)的具有很强通用性的项目模板。

- Scrapy内容
    - 基于框架发起请求
    - 数据解析
    - 持久化存储
    - 核心组件的工作原理
    - 全站数据爬取
    - 深度爬取
    - 中间件
    - 分布式
    - 增量式

原文：https://www.cnblogs.com/dai-zhe/p/14800745.html

踩

(0)

评论一句话评论（0）

分享档案

更多>