首页 > 其他 > 详细

爬虫例子及知识点(scrapy知识点)

时间:2016-12-17 19:24:10      阅读:135      评论:0      收藏:0      [点我收藏+]
新知识:
新建一个scrapy项目:scrapy startproject xxx(项目名称)
运行一个scrapy项目:scrapy crawl xxx(项目名称)

项目文件说明:
技术分享
文件说明:
? scrapy.cfg 项目的配置信息,主要为Scrapy命令行工具提供一个基础的配置信息。(真正爬虫相关的配置信息在settings.py文件中)
? items.py 设置数据存储模板,用于结构化数据,如:Django的Model
? pipelines 数据处理行为,如:一般结构化的数据持久化
? settings.py 配置文件,如:递归的层数、并发数,延迟下载等
? spiders 爬虫目录,如:创建文件,编写爬虫规则

代码如下:
技术分享技术分享




爬虫例子及知识点(scrapy知识点)

原文:http://www.cnblogs.com/Yemilice/p/6192676.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!