首页 > 其他 > 详细

暂停爬虫

时间:2017-10-05 16:03:04      阅读:273      评论:0      收藏:0      [点我收藏+]

当我们一个爬虫项目量非常大时候,我们可能不能一次执行完毕,需要分好几次执行,这时候,我们只需要在启动爬虫的时候键入命令

scrapy crawl xxx -s JOBDIR=job1

这时候我们可以看到任务开始执行了,当我们想要暂停的时候按下ctrl+c。当我们想要恢复的时候键入:

scrapy crawl xxx -s JOBDIR=job1

这样就可以继续执行了~~



作者:Darkeril
链接:http://www.jianshu.com/p/e71ff6173302
來源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

暂停爬虫

原文:http://www.cnblogs.com/AbsolutelyPerfect/p/7629266.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!