首页 > 编程语言 > 详细

python scrapy 爬虫 pipeline

时间:2019-03-03 10:07:15      阅读:220      评论:0      收藏:0      [点我收藏+]

  最近做项目遇到了一个问题:pipeline的start_spider()和close_spider()都执行了,但是没有执行process_item()

  百度结果:

    网上大多是说setting里面没有开启ITEM_PIPELINE选项或者是说parse()里面没有yield。

  但是如果你以上都正确设置,那么真正的原因就是从spider模块传给pipeline的字典对象其实是一个空对象,也就是说parse出现了语法错误,没有执行到yield语句,但是又被try-except捕捉,所有运行也没有问题,但就是不进入process_item()。

python scrapy 爬虫 pipeline

原文:https://www.cnblogs.com/hml-xxbj/p/10464081.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!