mac scrapy_deltafetch 增量式爬虫

安装

scrapy-deltafetch插件的使用与安装

scrapy-deltafetch插件的使用是基于Berkeley DB数据库的，所以必须安装好Berkeley DB数据库。

Berkeley DB 去官网下载压缩包，要求是6.2.23 其他的好像不行，下载好解压

cd ./db-6.2.32/build_unix
../dist/configure --prefix=/usr/local/Cellar/berkeley-db/6.2.32(后面的这串要是没有 自己创建，中奖不要留有空格)
sudo make install
去bsddb3官网下载 python bsddb3包 解压 cd文件夹，运行YES_I_HAVE_THE_RIGHT_TO_USE_THIS_BERKELEY_DB_VERSION=1 BERKELEYDB_DIR=/usr/local/berkeley-db/  python3 setup.py install --berkeley-db=/usr/local/Cellar/berkeley-db/6.2.32

pip3 install scrapy-deltafetch
pip3 install scrapy-magicfields

settings.py设置

SPIDER_MIDDLEWARES = {  ‘scrapy_deltafetch.DeltaFetch’: 100  }  

DELTAFETCH_ENABLED = True

此时scrapy就变成增量式爬虫了

mac scrapy_deltafetch 增量式爬虫

原文：https://www.cnblogs.com/wuxianyu/p/14299150.html