首页 > 其他 > 详细

scrapy 使用

时间:2019-10-07 15:24:08      阅读:79      评论:0      收藏:0      [点我收藏+]

scrapy框架

安装

Linux
      pip3 install scrapy
 
 
Windows
      a. pip3 install wheel
      b. 下载twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
      c. 进入下载目录,执行 pip3 install Twisted?17.1.0?cp35?cp35m?win_amd64.whl
      d. pip3 install scrapy
      e. 下载并安装pywin32:https://sourceforge.net/projects/pywin32/files/

  

使用

 

注意

1.win10 python 【scrapy crawl chouti --nolog 】 cmd 命令不执行parse函数(没有内容输出) 原因

设置settings.py 中设置  ROBOTSTXT_OBEY = False  

scrapy 使用

原文:https://www.cnblogs.com/huay/p/11630280.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!