关于 首先，在此附上项目的地址，以及官方文档 PySpider 官方文档 安装 1. pip 首先确保你已经安装了pip，若没有安装，请参照 pip安装 2. phantomjs PhantomJS 是一个基于 WebKit 的服务器端 JavaScript API。它全面支持web而不需浏览器支持 ...
分类：
编程语言 时间：
2017-02-08 22:49:39
收藏：
0 评论：
0 赞：
0 阅读：
244
前言 大家有没有发现之前我们写的爬虫都有一个共性，就是只能爬取单纯的html代码，如果页面是JS渲染的该怎么办呢？如果我们单纯去分析一个个后台的请求，手动去摸索JS渲染的到的一些结果，那简直没天理了。所以，我们需要有一些好用的工具来帮助我们像浏览器一样渲染JS处理的页面。 其中有一个比较常用的工具， ...
分类：
编程语言 时间：
2017-02-08 22:45:38
收藏：
0 评论：
0 赞：
0 阅读：
315
将一个叙述完整的算法转化为程序代码，不是什么难事。然而，如何将算法独立与其所处理的数据结构之外，不受数据结构的羁绊呢？换个说法，如何将我们所写的程序算法适用于任何（或者大部分）未知的数据结构（比如array，vector，list等）呢？ 关键在于，只要把操作对象的型别加以抽象化，把操作对象的标示法 ...
分类：
编程语言 时间：
2017-02-08 22:44:46
收藏：
0 评论：
0 赞：
0 阅读：
228
大家好，本次为大家带来的项目是计算大学本学期绩点。首先说明的是，博主来自山东大学，有属于个人的学生成绩管理系统，需要学号密码才可以登录，不过可能广大读者没有这个学号密码，不能实际进行操作，所以最主要的还是获取它的原理。最主要的是了解cookie的相关操作。 本篇目标 1.模拟登录学生成绩管理系统 2 ...
分类：
编程语言 时间：
2017-02-08 22:41:51
收藏：
0 评论：
0 赞：
0 阅读：
260
上一节我们介绍了正则表达式，它的内容其实还是蛮多的，如果一个正则匹配稍有差池，那可能程序就处在永久的循环之中，而且有的小伙伴们也对写正则表达式的写法用得不熟练，没关系，我们还有一个更强大的工具，叫Beautiful Soup，有了它我们可以很方便地提取出HTML或XML标签中的内容，实在是方便，这一 ...
分类：
编程语言 时间：
2017-02-08 22:40:54
收藏：
0 评论：
0 赞：
0 阅读：
295
审时度势 PySpider 是一个我个人认为非常方便并且功能强大的爬虫框架，支持多线程爬取、JS动态解析，提供了可操作界面、出错重试、定时爬取等等的功能，使用非常人性化。 本篇内容通过跟我做一个好玩的 PySpider 项目，来理解 PySpider 的运行流程。 招兵买马 具体的安装过程请查看本节 ...
分类：
编程语言 时间：
2017-02-08 22:40:35
收藏：
0 评论：
0 赞：
0 阅读：
485
3.1 集群的连接 3.1.1 作为Elasticsearch节点 [html] view plain copy 代码： import static org.elasticsearch.node.NodeBuilder.nodeBuilder; import org.elasticsearch.cl ...
分类：
编程语言 时间：
2017-02-08 22:39:53
收藏：
0 评论：
0 赞：
0 阅读：
426
前言 你是否觉得 XPath 的用法多少有点晦涩难记呢？ 你是否觉得 BeautifulSoup 的语法多少有些悭吝难懂呢？ 你是否甚至还在苦苦研究正则表达式却因为少些了一个点而抓狂呢？ 你是否已经有了一些前端基础了解选择器却与另外一些奇怪的选择器语法混淆了呢？ 嗯，那么，前端大大们的福音来了，Py ...
分类：
编程语言 时间：
2017-02-08 22:38:32
收藏：
0 评论：
0 赞：
0 阅读：
252
初级的爬虫我们利用urllib和urllib2库以及正则表达式就可以完成了，不过还有更加强大的工具，爬虫框架Scrapy，这安装过程也是煞费苦心哪，在此整理如下。 Windows 平台： 我的系统是 Win7，首先，你要有Python，我用的是2.7.7版本，Python3相仿，只是一些源文件不同。 ...
分类：
编程语言 时间：
2017-02-08 22:38:08
收藏：
0 评论：
0 赞：
0 阅读：
315
前言 我们之前写的爬虫都是单个线程的？这怎么够？一旦一个地方卡到不动了，那不就永远等待下去了？为此我们可以使用多线程或者多进程来处理。 首先声明一点！ 多线程和多进程是不一样的！一个是 thread 库，一个是 multiprocessing 库。而多线程 thread 在 Python 里面被称作 ...
分类：
编程语言 时间：
2017-02-08 22:37:16
收藏：
0 评论：
0 赞：
0 阅读：
266
大家好，前面入门已经说了那么多基础知识了，下面我们做几个实战项目来挑战一下吧。那么这次为大家带来，Python爬取糗事百科的小段子的例子。 首先，糗事百科大家都听说过吧？糗友们发的搞笑的段子一抓一大把，这次我们尝试一下用爬虫把他们抓取下来。 友情提示 糗事百科在前一段时间进行了改版，导致之前的代码没 ...
分类：
编程语言 时间：
2017-02-08 21:54:51
收藏：
0 评论：
0 赞：
0 阅读：
258
综述 最近山大软件园校区QLSC_STU无线网掉线掉的厉害，连上之后平均十分钟左右掉线一次，很是让人心烦，还能不能愉快地上自习了？能忍吗？反正我是不能忍了，嗯，自己动手，丰衣足食！写个程序解决掉它！ 假若你不能连这个无线，那就照照思路啦～ 决战前夕 首先我们看一下那个验证页面是咋样滴，上个图先 嘿， ...
分类：
编程语言 时间：
2017-02-08 21:54:16
收藏：
0 评论：
0 赞：
0 阅读：
403
在前面我们已经搞定了怎样获取页面的内容，不过还差一步，这么多杂乱的代码夹杂文字我们怎样把它提取出来整理呢？下面就开始介绍一个十分强大的工具，正则表达式！ 1.了解正则表达式 正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规 ...
分类：
编程语言 时间：
2017-02-08 21:52:55
收藏：
0 评论：
0 赞：
0 阅读：
285
1 # coding =utf-8 2 import random 3 4 def roll_dice(number=3, points=None): 5 if points == None: 6 points = [] 7 while number > 0: 8 point = random.ra... ...
分类：
编程语言 时间：
2017-02-08 21:52:02
收藏：
0 评论：
0 赞：
0 阅读：
298
福利啊福利，本次为大家带来的项目是抓取淘宝MM照片并保存起来，大家有没有很激动呢？ 最新动态 更新时间：2015/8/2 最近好多读者反映代码已经不能用了，原因是淘宝索引页的MM链接改了。网站改版了，URL的索引已经和之前的不一样了，之前可以直接跳转到每个MM的个性域名，现在中间加了一个跳转页，本以 ...
分类：
编程语言 时间：
2017-02-08 21:51:05
收藏：
0 评论：
0 赞：
0 阅读：
320
大家好哈，上一节我们研究了一下爬虫的异常处理问题，那么接下来我们一起来看一下Cookie的使用。 为什么要使用Cookie呢？ Cookie，指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据（通常经过加密） 比如说有些网站需要登录后才能访问某个页面，在登录之前，你想抓取 ...
分类：
编程语言 时间：
2017-02-08 21:49:46
收藏：
0 评论：
0 赞：
0 阅读：
223
大家好，上次我们实验了爬取了糗事百科的段子，那么这次我们来尝试一下爬取百度贴吧的帖子。与上一篇不同的是，这次我们需要用到文件的相关操作。 前言 亲爱的们，教程比较旧了，百度贴吧页面可能改版，可能代码不好使，八成是正则表达式那儿匹配不到了，请更改一下正则，当然最主要的还是帮助大家理解思路。 2016/ ...
分类：
编程语言 时间：
2017-02-08 21:48:31
收藏：
0 评论：
0 赞：
0 阅读：
422
上册：java面相对象语法，理论性为主： 1、对象：就是“东西”，世界万物都是对象；（对象因关注而产生） 2、类：将对象中，具有相同属性和行为的对象集合在一起；（类是用来定义的<>就是个模版，模具；）（抽类） 3、方法：类中对象共有的行为；（比如：人类，都要吃饭，走路）（动作，能做什么） 3.1、方 ...
分类：
编程语言 时间：
2017-02-08 21:05:28
收藏：
0 评论：
0 赞：
0 阅读：
322
java手机端网页常用的过滤emoji表情，注意：过滤常规emoji表情，iso或安卓一些手机自带的特殊表情不在过滤范围 import java.util.regex.Matcher;import java.util.regex.Pattern; public class EmojiUtil { p ...
分类：
编程语言 时间：
2017-02-08 21:04:20
收藏：
0 评论：
0 赞：
0 阅读：
359
Collections 模块 知识点 Counter 类 defaultdict 类 namedtuple 类 在这个实验我们会学习 Collections 模块。这个模块实现了一些很好的数据结构，它们能帮助你解决各种实际问题。 这是如何导入这个模块，现在我们来看看其中的一些类。 1. Counte ...
分类：
编程语言 时间：
2017-02-08 21:02:00
收藏：
0 评论：
0 赞：
0 阅读：
289
