首页 > 其他 > 详细

scrapy顺序执行多个爬虫

时间:2018-02-03 23:00:45      阅读:572      评论:0      收藏:0      [点我收藏+]
 1 # -*- coding:utf-8 -*-
 2 
 3 from scrapy import cmdline
 4 from scrapy.cmdline import execute
 5 import sys,time,os
 6 
 7 #会全部执行爬虫程序
 8 os.system(scrapy crawl ccdi)
 9 os.system(scrapy crawl ccxi)
10 #-----------------------------------------------------
11 
12 #只会执行第一个
13 cmdline.execute(scrapy crawl ccdi.split())
14 cmdline.execute(scrapy crawl ccxi.split())
15 #-----------------------------------------------------
16 
17 #只会执行第一个
18 sys.path.append(os.path.dirname(os.path.abspath(__file__)))  
19 execute(["scrapy", "crawl", "shanghaione"])  
20 time.sleep(30)  
21 
22 sys.path.append(os.path.dirname(os.path.abspath(__file__)))  
23 execute(["scrapy", "crawl", "shanghaitwo"]) 

 

scrapy顺序执行多个爬虫

原文:https://www.cnblogs.com/zhouxinfei/p/8410781.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!