1：原理图：
（*此图来自网络）
2：开发过程：
1）编写items.py，确定要抓取的关键字段名称
2）编写spider，确定发送request的形式以及对于response的处理
3）编写pipelines.py，进一步处理spider处理完毕后的数据的持久化，清洗.......
1:scrapy框架原理
原文：http://www.cnblogs.com/pengsixiong/p/4908589.html
（*此图来自网络）