为了提高网络爬虫的性能，一般会采用分布式的抓取方式，本文主要就其中的网页查重问题进行简单的讨论。
第一种：主备集中式控制的方式
由一个主控节点控制网页的抓取，主控节点负责任务的分派，将各个slave机器上抓取结果网页内的链接进行汇总，查重，再进一步分派新的任务。主控节点上网页的查重可能是比较复杂的任务。
第二种：多节点协作的方式
将所有的网页地址进行hash，每个节点负责不同的hash范围...
分类：
Web开发 时间：
2014-01-21 09:38:51
收藏：
0 评论：
0 赞：
0 阅读：
315
Redis学习系列（一）：Redis服务器端的配置与启动...
分类：
其他 时间：
2014-01-21 09:38:46
收藏：
0 评论：
0 赞：
0 阅读：
348
在客户端录制语音的一般需求是，希望将自己参与的语音会话的内容全部录制下来（包括自己的语音），怎么实现了？...
分类：
其他 时间：
2014-01-21 09:38:41
收藏：
0 评论：
0 赞：
0 阅读：
356
1 using()用于两张表的join查询，要求using()指定的列在两个表中均存在，并使用之用于join的条件。
示例：
select a.*, b.* from a left join b using(colA);
等同于：
select a.*, b.* from a left join b on a.colA = b.colA;
2 多表查询就使用多个这样的join。...
分类：
数据库技术 时间：
2014-01-21 09:39:16
收藏：
0 评论：
0 赞：
0 阅读：
412
1 总述
入口
数据库文件Socket通信
触发条件
时间轮询接口手工
对于批量处理理论上要至少满足以下五个方面的考虑：
事务性统计监控性能错单处理
2 批量使用场景
2.1 批量操作同单笔操作比较
单笔操作：
一般是由客户端触发更加实时；开发相对比较简单当业务处理复杂时，操作会...
分类：
其他 时间：
2014-01-21 09:38:26
收藏：
0 评论：
0 赞：
0 阅读：
340
mac下创建Cocos2d-x 3.0beta版本项目...
分类：
其他 时间：
2014-01-21 09:38:21
收藏：
0 评论：
0 赞：
0 阅读：
350
在openfire中，如果发送某些特殊的字符（例如一些表情符合），会断开xmpp的连接，经查，是由以下的代码问题引起的：
src\java\org\jivesoftware\openfire\net\MXParser.java
protected char more() throws IOException, XmlPullParserException {
fi...
分类：
其他 时间：
2014-01-21 09:38:16
收藏：
0 评论：
0 赞：
0 阅读：
371
本文内核来自于我的一位经验丰富、体重异常、阅人无数的HR好友，感谢各路好朋友们给我提供这么多的素材。 本文以第一人称撰写，但并不完全代表作者本人。正文开始: 每个程序员都会碰到面试，也许你的面试只有一轮，也许有两轮甚至三轮，这里我来阐述一下最新的ＨＲ圈里在通常的第一轮面试中的识人小“潜规则”，不上大雅，但是很有可能你碰到的ＨＲ面试管都在默默的使用着。 一、询问微博、微信 传统的博客已...
分类：
其他 时间：
2014-01-21 09:38:11
收藏：
0 评论：
0 赞：
0 阅读：
351
上篇博文谈到了C++函数重载在MFC类库中的一些体现，可能你会说这些我都知道。是的，上面那篇仅仅是个切入点，紧接上篇，我们来谈一下重载C++标准库函数时候会发生什么样的问题呢？接下来会通过重载MFC的MessageBox让你知道不一样的MFC。
一、messagebox的原始调用方法
我们随便新建一个MFC的对话框工程，先给出两种messagebox的调用方法，如下所示：
void...
分类：
编程语言 时间：
2014-01-21 09:38:06
收藏：
0 评论：
0 赞：
0 阅读：
507
在 ubantu 下安装好 opencv 后就可以运行手势识别小程序了
#ifdef _CH_
#define WIN32
#error "The file needs cvaux, which is not wrapped yet. Sorry"
#endif
#ifndef _EiC
#include "cv.h"
#include "cvaux.h"
#include "highgui....
分类：
其他 时间：
2014-01-21 09:38:01
收藏：
0 评论：
0 赞：
0 阅读：
360
当人不能有效沟通时，会发生什么？
1. 事情未得到澄清
2. 错误观念未被纠正
3. 破坏明智的决断
4. 产生混乱与纷扰，摩擦与误会未得到解决
5. 人际之间的问题存积更多，彼此之间的隔阂也愈来愈深广
6. 阻碍更深的合一和更亲密关系的发展
7. 产生沉闷，不满和沮丧的情绪
8. 彼此不能深入认...
分类：
其他 时间：
2014-01-21 09:37:51
收藏：
0 评论：
0 赞：
0 阅读：
360
Debug 多线程问题通常会遇到，死锁，资源释放出错，进程不能正常退出等。
1. 死锁的问题可以通过加debug message 来解决。
2. 后面两个问题可能会用到一些下面到方式。
启动每一个线程时输出线程ID, 在结束时根据线程ID判断哪个线程没有退出。
#gettid
pid_t gettid(void)
{
return syscall(SYS_getti...
分类：
其他 时间：
2014-01-21 09:37:46
收藏：
0 评论：
0 赞：
0 阅读：
335
一、Web Database介绍
WebSQL数据库API实际上不是HTML5规范的组成部分，而是单独的规范。它通过一套API来操纵客户端的数据库。Safari、Chrome、Firefox、Opera等主流浏览器都已经支持WebSQL Database
WebSQL数据库有三个核心方法：
1）打开数据库openDatabase()方法：
此方法创建数据库对象，既可...
分类：
移动平台 时间：
2014-01-21 09:37:41
收藏：
0 评论：
0 赞：
0 阅读：
370
昨天遇到一个问题，请求发送之后直接返回了500错误，没有过ErrorController。并且Server这边的log里也没有异常。这真的是好奇怪。 产生问题的method是这样写的： @RequestMapping(params = "method=bulkChange", method = RequestMethod.POST)
public @ResponseBody
U...
分类：
Web开发 时间：
2014-01-21 09:37:36
收藏：
0 评论：
0 赞：
0 阅读：
1034
由于参与移动项目，需要移动终端和服务端传递数据，经过技术对比分析，觉得基于REST模式的Web服务比较简洁易用，于是采取了Jersey开发，
一个Java规范下REST风格Web Service开发框架。...
分类：
其他 时间：
2014-01-21 09:37:31
收藏：
0 评论：
0 赞：
0 阅读：
356
//
/// 去除List集合中的重复元素
///
/// 要去除重复元素的集合
/// 返回处理后的集合
public static List ItemFilter(List list)
{
List resultList = new List();
...
分类：
其他 时间：
2014-01-21 09:37:26
收藏：
0 评论：
0 赞：
0 阅读：
341
读懂人心这本书
人就像一本书，如果能知道正确的阅读方法的话，你就会以热情和自信的态度来面对芸芸众生。这种“阅读方法”就是观察力，要能够“读出”你的沟通对象的心理，这样在你与对方的沟通中你才能更有自信心。
观察他人的技巧
从对方的一言一行中考察他的为人和性格
观察一个人时，不能只听对方怎么说，更重要的是观察他的行为。
根据对方的好恶以及交友...
分类：
其他 时间：
2014-01-21 09:37:21
收藏：
0 评论：
0 赞：
0 阅读：
306
1：前言
我们在开发系统的过程中，缓存是个有用的模块。下面我就把我们的缓存模块给大家做个简单介绍。
2：类图
图片看不清楚？请点击这里查看原图（大图）。
3：简单介绍
缓存分为两个部分。一个是缓存结构一个是存储结构。缓存结构主要解决对象什么时候过期而存储结构主要解决对象存储到什么地方。
3.1缓存结构
我们在处理缓存过期这个功能的时候提供了两种过期时...
分类：
其他 时间：
2014-01-21 09:37:16
收藏：
0 评论：
0 赞：
0 阅读：
288
定义在recog.c文件中
int
recog_memoized (insn)
rtx insn;
{
volatile_ok = 1;
if (INSN_CODE (insn)
INSN_CODE (insn) = recog (PATTERN (insn), insn);
return INSN_CODE (insn);
}
recog(...
分类：
其他 时间：
2014-01-21 09:37:11
收藏：
0 评论：
0 赞：
0 阅读：
386
百度地图开源库，对于基于百度地图开发者来说，无疑是一个很强大的工具，里面涵盖了大伙二次开发的一些js静态函数，和应用实例，大家的力量是强大的！废话不多说，好多新手找不到怎么去找，下面贴下找寻路径。
上图
chome浏览器好像把字体显示的不完全造成了大家的错乱。
ok到了。...
分类：
其他 时间：
2014-01-21 09:37:06
收藏：
0 评论：
0 赞：
0 阅读：
415
