首页 > 系统服务 > 详细

Mac OS安装开源爬虫框架pyspider

时间:2015-01-18 02:09:12      阅读:611      评论:0      收藏:0      [点我收藏+]

一、pyspider介绍

pyspider是百度的大神binux用Python做的一个爬虫架构的开源化实现,主要的功能需求是:

  • 抓取、更新调度多站点的特定的页面
  • 需要对页面进行结构化信息提取
  • 灵活可扩展,稳定可监控

二、pyspider安装
1、安装pip(如果未安装)

?

sudo easy_install pip

?2、安装pyspider

?

?

pip install pyspider

?注意:安装的过程中可能会抛错:pyspider fatal error: ‘libxml/xmlversion.h‘ file not found

?

这个只要先安装Command Line Tools 就行了

三、运行

?

pyspider

?完成之后访问http://localhost:5000

?

Mac OS安装开源爬虫框架pyspider

原文:http://chenhbc.iteye.com/blog/2176935

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!