首页 > 其他 > 详细

安装scrapy 爬虫框架

时间:2019-02-23 17:56:43      阅读:169      评论:0      收藏:0      [点我收藏+]

 安装scrapy 爬虫框架

 

个人根据学习需要,在Windows搭建scrapy爬虫框架,搭建过程种遇到个别问题,共享出来作为记录。

 

1.安装python 2.7

1.1下载

下载地址

1.2配置环境变量

以下内容添加到PATH中

C:\Python27\;C:\Python27\Scripts\;

打开CMD运行如下内容:

c:\python27\python.exe c:\python27\tools\scripts\win_add2path.py

1.3检验是否成功

python --version

技术分享图片

2.检查pip

python安装过程中,会把pip安装好

查看方法CMD输入

pip --version

技术分享图片

若未安装,请参考如下连接

参考连接

安装pywin32

3.安装pywin32

pip install pywin32

4.安装Scrapy

4.1安装命令

pip install Scrapy

 4.2验证安装是否成功

python

技术分享图片

>>>import scrapy

不报错,则表示安装成功。

4.3创建项目

CMD切换要安装的目录下

scrapy startproject tutorial

运行成功后,该目录下生成如下文档结构

tutorial/
    scrapy.cfg
    tutorial/
        __init__.py
        items.py
        pipelines.py
        settings.py
        spiders/
            __init__.py
            ...

Scrapy爬虫框架搭建完成。

5.常见问题

5.1.缺少C++组件

技术分享图片

下载地址

安装完成后,无需重启电脑。

5.2.pip版本低

技术分享图片

执行如下命令进行升级

python -m pip install  --upgrade pip

 

参考:

https://scrapy-chs.readthedocs.io

安装scrapy 爬虫框架

原文:https://www.cnblogs.com/aongao/p/10423530.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!