一、伪装浏览器 对于一些需要登录的网站,如果不是从浏览器发出的请求,则得不到响应。所以,我们需要将爬虫程序发出的请求伪装成浏览器正规军。具体实现:自定义网页请求报头。 二、使用Fiddler查看请求和响应报头 打开工具Fiddler,然后再浏览器访问“https://www.douban.com/” ...
分类:
编程语言 时间:
2017-09-04 12:33:15
收藏:
0 评论:
0 赞:
0 阅读:
273
Webdriver支持在指定的浏览器测试HTML5,另外可以用JavaScript来测试这些功能,这样就可以在任何浏览器上测试HTML5 多数浏览器使用控件来播放视频,但是不同浏览器需要使用不同的插件,HTML5定义了一个新元素video,指定了一个标准的方式来嵌入电影片段 下面以http://vi ...
分类:
编程语言 时间:
2017-09-04 12:29:46
收藏:
0 评论:
0 赞:
0 阅读:
333
RESTFul支持 http://localhost:8090/user/doAdd.action?username=tony&age=8 http://localhost:8090/user/doAdd /tony/8.ation 把传统get请求参数去除,直接写各个参数值,变量名称也去掉,之间/ ...
分类:
编程语言 时间:
2017-09-04 12:28:45
收藏:
0 评论:
0 赞:
0 阅读:
195
一、问题: 最近在spark集群上做一个项目,打包提交jar包时,出现了unsupported major.minor version 52.0的报错,而在local模式运行却能正常运行! 二、错误原因: 查阅诸多资料得出的结论就是:项目编译得到的class文件的版本高于运行环境中jre的版本号,高 ...
分类:
编程语言 时间:
2017-09-04 11:48:44
收藏:
0 评论:
0 赞:
0 阅读:
1475
快排就是折中时间和空间的一个算法,可以说是较为高效的算法,平时用用他没啥大问题。 自己也看到个比较形象生动的例子,为了让大家能够看的比较清楚,我就直接转过来给大家看了哈!但是我使用python实现的: 注意以下除了实现代码,其他为转发,详见页末! 假设我们现在对“6 1 2 7 9 3 4 5 10 ...
分类:
编程语言 时间:
2017-09-04 11:47:42
收藏:
0 评论:
0 赞:
0 阅读:
266
第一部分:金融与量化投资 股票: 股票是股份公司发给出资人的一种凭证,股票的持有者就是股份公司的股东。 股票的面值与市值 面值表示票面金额 市值表示市场价值 上市/IPO: 企业通过证券交易所公开向社会增发股票以募集资金 股票的作用: 出资证明、证明股东身份、对公司经营发表意见 公司分红、交易获利 ...
分类:
编程语言 时间:
2017-09-04 11:46:29
收藏:
0 评论:
0 赞:
0 阅读:
349
1.闭包概念: 就是函数内部通过某种方式访问一个函数内部的局部变量 2.Java中的类似操作 3。javaScript中的操作 看上面两个例子,其实就是差不多可以理解闭包啦,相当于说Java获取类内部的私有的static变量 ...
分类:
编程语言 时间:
2017-09-04 11:45:34
收藏:
0 评论:
0 赞:
0 阅读:
246
对于习惯使用C进行开发的朋友们,在看到c++中出现的&符号,可能会犯迷糊,因为在C语言中这个符号表示了取地址符,但是在C++中它却有着不同的用途,掌握C++的&符号,是提高代码执行效率和增强代码质量的一个很好的办法。在 c++学习提高篇(3) 隐式指针的文章中我详细介绍了在隐式指针&的用法,其实这两 ...
分类:
编程语言 时间:
2017-09-04 11:45:22
收藏:
0 评论:
0 赞:
0 阅读:
311
策略模式的定义:(定义截自http://www.cnblogs.com/whgk/p/6087064.html) 1、策略模式定义了算法族,分别封装起来,让他们之间可以互相替换,此模式让算法的变化独立于使用算法的客户 换句话讲,也就是将那些使用的方法分别封装成独立的类,然后将这一类使用接口统一管理起 ...
分类:
编程语言 时间:
2017-09-04 11:45:09
收藏:
0 评论:
0 赞:
0 阅读:
239
多线程: 多线程和多进程的不同是他们占用的资源不一样, 一个进程里边可以包含一个或多个进程, 进程的开销大,线程的开销小。 打个比方来说:创建一个进程,就是创建一个车间。创建一个线程,就是在一个车间创建一个流水线。 怎么去开启一个线程: 方法一(直接用默认的类): 方法二(自己定义一个类,继承系统的 ...
分类:
编程语言 时间:
2017-09-04 11:44:53
收藏:
0 评论:
0 赞:
0 阅读:
208
题目: 在一个二维数组中,每一行都按照从左到右递增的顺序排序,每一列都按照从上到下递增的顺序排序。请完成一个函数,输入这样的一个二维数组和一个整数,判断数组中是否含有该整数。 思路: 因为从左到右递增,从上到下递增,所以很容易发现是二分查找的变体,需要找到一个点(p),左边的数比这个数小,右边的比他 ...
分类:
编程语言 时间:
2017-09-04 11:42:47
收藏:
0 评论:
0 赞:
0 阅读:
251
算法的稳定性 如果待排序表中有两个元素 Ri 和 Rj,其对应的关键字keyi = keyj,注意是关键字相等,且在排序前 Ri 排在 Rj 前面,如果使用某一算法排序后,Ri 仍在 Rj 前面,则称这个算法是稳定的,否则是不稳定的。 <!--more--> 在排序过程中,根据元素是否完全在内存中, ...
分类:
编程语言 时间:
2017-09-04 11:42:14
收藏:
0 评论:
0 赞:
0 阅读:
298
#异常 类 #捕捉 #捕捉对象 #finally ...
分类:
编程语言 时间:
2017-09-04 11:41:33
收藏:
0 评论:
0 赞:
0 阅读:
239
今天要讲的是天才哈夫曼的哈夫曼编码,这是树形数据结构的一个典型应用。 !!!敲黑板!!!哈夫曼树的构建以及编码方式将是我们的学习重点。 老方式,代码+解释,手把手教你Python完成哈夫曼编码的全过程。、 首先,我先假设你已经有了二叉树的相关知识,主要就是概念和遍历方式这些点。如果没有这些知识储备, ...
分类:
编程语言 时间:
2017-09-04 11:39:30
收藏:
0 评论:
0 赞:
0 阅读:
409
相信不仅仅是操作系统中才会有进程和线程的概念,Java中也有进程和线程的概念,Thread线程。下面我来从面试需要掌握的角度讲讲进程与线程的区别。 先来讲讲基本的一些概念: 什么是计算机资源 经典的冯诺依曼结构把计算机系统抽象成 CPU + 存储器 + IO,那么计算机资源无非就两种: 1. 计算资 ...
分类:
编程语言 时间:
2017-09-04 11:39:04
收藏:
0 评论:
0 赞:
0 阅读:
293
java中创建泛型数组并不是不可能,创建泛型数组通过反射,给构造函数传递两个参数,一个类型标记,一个数组大小。‘ 简单Demo如下: 运行结果: 从结果来看,成功创建了所想要的数组类型,传递类型参数到构造器中是为了从擦除中恢复 错误的创建方式: 数组需要确定的类型,这个Demo中的构造函数相当于T[ ...
分类:
编程语言 时间:
2017-09-04 11:33:49
收藏:
0 评论:
0 赞:
0 阅读:
175
爬虫之前 在着手写爬虫之前,要先把其需要的知识线路理清楚。 第一:了解相关Http协议知识 HTTP是Hyper Text Transfer Protocol(超文本传输协议)的缩写。它的发展是万维网协会(World Wide Web Consortium)和Internet工作小组IETF(Int ...
分类:
编程语言 时间:
2017-09-04 11:32:15
收藏:
0 评论:
0 赞:
0 阅读:
309
gettimeofday()函数的使用方法 1.函数原型 #include <sys/time.h> int gettimeofday(struct timeval *tv, struct timezone *tz); 2.说明 gettimeofday()会把目前的时间用tv 结构体返回,当地时区 ...
分类:
编程语言 时间:
2017-09-04 11:29:46
收藏:
0 评论:
0 赞:
0 阅读:
236
首先要明白对象和引用的概念 (例子:a=1, a为引用,1为对象,对象1的引用计数器为1,b=1此时内存中只有一个对象1,a,b都为引用,对象的引用计数器此时为2,因为有两个引用) 引用计数器如何减少,当删除该对象的引用时候该对象的引用计数器将会减少。 python的垃圾回收(3种) 引用计数 当对 ...
分类:
编程语言 时间:
2017-09-04 11:29:37
收藏:
0 评论:
0 赞:
0 阅读:
238
补充: ...
分类:
编程语言 时间:
2017-09-04 11:28:19
收藏:
0 评论:
0 赞:
0 阅读:
345