Python爬虫开发,从网站某一个页面(通常是首页)开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。
世界上80%的爬虫是基于Python开发的，学好爬虫技能，可为后续的大数据分析、挖掘、机器学习等提供重要的数据源。
Python爬虫实例参考
这是一个用Python爬虫实现抓取京东店铺信息以及下载图片的例子，仅供参考。
信息抓取：
图片下载的：
注意：
1、在选择信息的时候用CSS
2、用 get_text（）方法筛选标签中的文本信息
3、strip ，lstrip，rstrip 的用法：
Python中的strip 用于去除字符串的首尾字符；同理，lstrip 用于去除左边的字符；rstrip 用于去除右边的字符。
这三个函数其实都可以传入一个参数，指定要去除的首尾字符。
但是需要注意的是，传入的是一个字符数组，编译器去除两端所有相应的字符，直到没有匹配的字符，比如：
theString依次被去除首尾在[‘s‘，‘a‘，‘y‘]数组内的字符，直到字符在不数组内。所以，输出的结果为：
比较简单吧，lstrip和rstrip原理是一样的。
注意：当没有传入参数时，是默认去除首尾空格和换行符的。
运行结果：
以上案例代码部分以图片形式展示，仅供参考。
Python爬虫技术干货，教你如何实现抓取京东店铺信息及下载图片
原文：http://blog.51cto.com/14167862/2349023