首页 > 其他 > 详细

Scrapy初体验(一) 环境部署

时间:2020-02-22 22:02:02      阅读:69      评论:0      收藏:0      [点我收藏+]

系统选择centOs 7,Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。

其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的, 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。

Linux发行版都自带Python环境,Scrapy官方推荐使用pip安装Scrapy,因此首先需要安装pip.
去github下载pip最新安装包。pip install
目前版本是7.1.2下载完成得到一个pip-7.1.2.tar.gz的压缩包,然后执行命令解压缩

1
$ tar zvxf pip-7.1.2.tar.gz

进入解压好的pip-7.1.2目录,找到setup.py并安装执行

1
$ sudo python setup.py install

执行完成后就可以使用pip命令了。
然后使用pip命令安装Scrapy

1
$ sudo pip install Scrapy

安装过程中会出现一个报错:

大专栏  Scrapy初体验(一) 环境部署s="line">1
2
编译中断。
error: command 'gcc' failed with exit status 1

解决办法是执行

1
$ yum install gcc python-devel

安装完成后再次执行以上pip install Scrapy命令等待安装完成,直到终端出现如下文字提示,代表安装完成,即可使用Scrapy抓取数据了。

1
2
3
4
Installing collected packages: Twisted, characteristic, pyasn1-modules, service-identity, Scrapy
Running setup.py install for Twisted
Running setup.py install for pyasn1-modules
Successfully installed Scrapy-1.0.3 Twisted-15.4.0 characteristic-14.3.0 pyasn1-modules-0.0.7 service-identity-14.0.0

Scrapy初体验(一) 环境部署

原文:https://www.cnblogs.com/lijianming180/p/12347421.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!