Python爬虫框架Pyspider安装及问题

Windows下安装Anaconda,

开一个Python3.6的虚拟环境(直接创环境无法设置Python版本，新建环境后使用命令conda install python=3.6)
直接pip install pyspider,

问题及解决

1.wsgidav版本问题

• 解决方法1
  降版本到2.4.1

• 解决方法2-改代码
  在虚拟环境名/Lib/site-packages/pyspider/webui/webdav.py
  第209行代码

  ‘domaincontroller‘: NeedAuthController(app),
  

  改为:

     ‘http_authenticator‘: {
     ‘HTTPAuthenticator‘: NeedAuthController(app),
     }, 
  

2.wsgidav版本问题

• 解决方法1、
  降版本为0.16.1

• 解决方法2-改代码
  在虚拟环境名/Lib/site-packages/pyspider/webui/app.py
  第60行

    from werkzeug.wsgi import DispatcherMiddleware
  

  修改为:

    from werkzeug.middleware.dispatcher import DispatcherMiddleware
  

3.webui显示不全，或者说相关的css和js加载不出来

运行后的webUI和网页上看到的不一样，查看http://127.0.0.1:5000的源码, 发现是cdnjs.cloudflare.com无法响应

于是进行搜索后发现需要修改虚拟环境名/Lib/site-packages/pyspider/run.py

第313行

    @click.option(‘--cdn‘, default=‘//cdnjs.cloudflare.com/ajax/libs/‘,

修改为:

    @click.option(‘--cdn‘, default=‘//cdnjs.cat.net/ajax/libs/‘,

4.运行pyspider all命令后一直停留在 result_worker starting...

一个可能的解决办法，先启动，然后用浏览器访问，关闭原先的终端重新启动

参考：

问题1参考
问题2参考
问题3参考

Python爬虫框架Pyspider安装及问题

原文：https://www.cnblogs.com/tanjie200/p/15200881.html