def process_item(self, item, spider):
if re.search(r‘***‘,item[‘lineContent‘].encode(‘utf8‘)):
raise DropItem("no need in %s" % item[‘lineContent‘])
else:
if spider.name==‘**‘:
query = self.dbpool.runInteraction(self._conditional_insert, item)
#query.addErrback(self.handle_error)
return item
elif spider.name==‘***‘:
query = self.dbpool.runInteraction(self._conditional_insert2, item)
#query.addErrback(self.handle_error)
return item
本文出自 “水草” 博客，请务必保留此出处http://961911.blog.51cto.com/951911/1629129
爬虫框架scrapy 1个piplines 对应多个spider，并且分别处理
原文：http://961911.blog.51cto.com/951911/1629129