Scrapyd 在centos下线上部署Scrapy爬虫

什么是scrapyd

scrapyed = scrapy + deploying
把scrapy程序发布到线上的一套python服务

步骤

1. 安装

• 1.安装scrapyd
  安装好scrapyd，先开启服务

pip3 install scrapyd
# 开启服务
scrapyd

• 2.安装scrapyd-client
  这是一个部署到scrapy到scrapyd服务中的工具

pip3 install scrapyd-client

该安装包拥有scrapyd-deploy 命令,是爬虫项目发布到srcapyd服务的关键步骤，使用的前提是
必须要开启scrapyd服务，也就是第一步a) 这一步window需要额外处理,linux不需要

2. 项目准备

• 1.修改配置文件
  首先修改scrapy配置文件，进入scrapy项目文件夹，能看到配置文件scrapy.cfg修改配置如下

[settings]
default = Demo.settings

[deploy:Demo]   # 这边项目名字随便取
url = http://localhost:6800/  # 这个注释打开6800是后面访问端口，如要修改，scrapyd里面的也要记得一起修改
project = Demo

• 2.修改scrapyd配置文件（该文件可能由于不同的安装可能路径不一样）

sudo find / -name default_scrapyd.conf   # 首先知道这个配置文件路径
vim /your_path/default_scrapyd.conf  # vim编辑配置文件

# 下面是编辑配置文件
[scrapyd]
eggs_dir    = eggs
logs_dir    = logs
items_dir   =
jobs_to_keep = 5
dbs_dir     = dbs
max_proc    = 0
max_proc_per_cpu = 10    #可以不改 这个参数和CPU个数的乘积是爬虫同时运行的最多个数 为了以后方便改成10
finished_to_keep = 100   
poll_interval = 5.0
bind_address = 0.0.0.0   # 绑定的IP地址改成0.0.0.0 外网就可以访问
http_port   = 6800   # 这边是对应的端口
debug       = off
runner      = scrapyd.runner
application = scrapyd.app.application
launcher    = scrapyd.launcher.Launcher
webroot     = scrapyd.website.Root

[services]
schedule.json     = scrapyd.webservice.Schedule
cancel.json       = scrapyd.webservice.Cancel
addversion.json   = scrapyd.webservice.AddVersion
listprojects.json = scrapyd.webservice.ListProjects
listversions.json = scrapyd.webservice.ListVersions
listspiders.json  = scrapyd.webservice.ListSpiders
delproject.json   = scrapyd.webservice.DeleteProject
delversion.json   = scrapyd.webservice.DeleteVersion
listjobs.json     = scrapyd.webservice.ListJobs
daemonstatus.json = scrapyd.webservice.DaemonStatus

• 3.测试启动
  确保服务器打开了6800端口

# TODO()首先进入scrapy项目文件夹下查看项目是否能正常启动
scrapy list  # 如果有报错缺什么包 可以查看我的之前的博客 
# 上一步正常 可以测试scrapyd 是否正常
scrapyd  # 测试scrapyd开启 务必保证开启6800端口 
# 这一步报错 可以在stackoverflow 上找答案，我之前博客也有相关的答错

假如此时访问 http://127.0.0.1/6800 出现scrapyd的页面则表示成功

• Tips

后台运行scrapyd可以使用 supervisor 管理后台进程

• 4.启动项目

# 部署项目, 一个scrapyd可以部署多个scrapy项目
scrapyd-deploy Demo(cfg:中的部署项目名) -p 爬虫项目名(cfg中的project名)  # Demo是在scrapy配置文件里面设置的部署名称(假如没有则为default)

3.控制scrapyd的指令方法

可以通过curl命令获取6800相关的api接口对爬虫进行远程操作，比如 开启爬虫，停止爬虫 等等，

• 开启：项目名为爬虫的顶级项目名,非上面的部署名

curl http://ip地址:6800/schedule.json -d project=项目名 -d spider=爬虫名称

• 关闭:job可以通过6800看

curl http://ip地址:6800/cancel.json -d project=项目名 -d job=232424434

• 删除不要的项目,确保该项目没有运行的爬虫

curl http://ip地址:6800/delproject.json -d project=项目名

• 查看还有多少项目

curl http://ip地址:6800/listprojects.json

大功告成

以上可以看到通过curl命令就是获取接口命令的方法，可以使用scrapyd_api来快捷操作

Scrapyd 在centos下线上部署Scrapy爬虫

原文：https://www.cnblogs.com/zhenyauntg/p/13272907.html