最近在做一个交通流的数据分析，需求是对于海量的城市交通数据，需要使用MapReduce清洗后导入到HBase中存储，然后使用Hive外部表关联HBase，对HBase中数据进行查询、统计分析，将分析结果保存在一张Hive表中，最后使用Sqoop将该表中数据导入到MySQL中。整个流程大概如下：
下面我主要介绍Hive关联HBase表——Sqoop导出Hive表到MySQL这...
分类：
数据库技术 时间：
2015-04-22 11:45:09
收藏：
0 评论：
0 赞：
0 阅读：
352
json解析我们不陌生了，不过每次编写解析的代码时总是很头疼，一堆很无聊的代码，如果有50个接口那就得写50个相似的解析处理。其实谷歌和阿里很早就推出了解析json的工具包，谷歌的Json,阿里的FastJson，还有一个jackJson。有人说jackJson解析速度快，大数据时FastJson要比Json效率高，小数据时反之。不过我还是偏爱谷歌的Json，即使效率可能偏低，但是稳定性肯定没得说...
分类：
Web开发 时间：
2015-04-22 11:44:59
收藏：
0 评论：
0 赞：
0 阅读：
282
这是由一道面试题联想到的一些问题，这里自己给做个小总结！首先看看这道面试题：#include
int main() {
int a[5] = { 1, 2, 3, 4, 5 };
int *pi = &a + 1; printf("%d, %d\n", *(a + 1), *(pi - 1));
return 0;
}答案是2, 5。至于是为什么，...
分类：
编程语言 时间：
2015-04-22 11:44:49
收藏：
0 评论：
0 赞：
0 阅读：
281
导出远程数据库
1.在本地从远程数据库monitor导出threshold表结构和数据到文件threshold.sql：
pg_dump -t threshold -h 135.32.94.142 monitor -U monitor -p 5432 -f threshold.sql
-t 指定要导出的表名;
-h 指定数据库地址;
-U 指定数据库用户;
-p 指定访问端口...
分类：
数据库技术 时间：
2015-04-22 11:44:39
收藏：
0 评论：
0 赞：
0 阅读：
192
在Chrome 使用过种中，会出现 "a plugin (shockwave flash) isn't responding" 的提示，并且当前的选项卡假死，无响应了。经过一番研究，解决方法如下：
1. Google chrome 在使用过程中会出现：
2. 解决办法：
1).在 Chrome 地址栏, 输入chrome://plugins 并找到 “Adobe Flash Player /Shockwave Flash.” 项，点击 Disable....
分类：
其他 时间：
2015-04-22 11:44:29
收藏：
0 评论：
0 赞：
0 阅读：
308
UITabBar,UITabBarItem怎么用字典设置UITabBarItem字体大小和颜色，保持原图颜色（item5）...
分类：
其他 时间：
2015-04-22 11:44:19
收藏：
0 评论：
0 赞：
0 阅读：
239
这是在iOS7上，tableview 的sectionHeaderView中报错
*** Assertion failure in -[****.****UITVSectionHeader_Team layoutSublayersOfLayer:], /SourceCache/UIKit/UIKit-2935.137/UIView.m:8794
libc++abi.dylib: termina...
分类：
其他 时间：
2015-04-22 11:44:09
收藏：
0 评论：
0 赞：
0 阅读：
986
trace模块可以监控Python执行程序的方式，同时生成一个报表来显示程序的每一行执行的次数。这些信息可以用来发现未被自动化测试集所覆盖的程序执行路径，也可以用来研究程序调用图，进而发现模块之间的依赖关系。编写并执行测试可以发现绝大多数程序中的问题，Python使得debug工作变得更加简单，这是因为在大部分情况下，Python都能够将未被处理的错误打印到控制台中，我们称这些错误信息为trace...
分类：
编程语言 时间：
2015-04-22 11:43:51
收藏：
0 评论：
0 赞：
0 阅读：
245
不知道各位有没有玩过魔兽、X-COM、文明帝国、红色警戒之类的策略游戏。
这些游戏使用了所谓的“战争迷雾”。刚进入游戏的时候，每一个玩家的地图都是被黑暗笼罩的，想要前行的唯一途径就是不断的摸索。随着我们不断地移动，地图越来越可见化。
这种战略的劣势是：玩家看不到周围的危险、障碍以及机会。每一次的成功都需要一点点的运气。
有木有感觉这种情景有点熟悉？
“战争迷雾”完美...
分类：
其他 时间：
2015-04-22 11:43:45
收藏：
0 评论：
0 赞：
0 阅读：
242
Webclient在下载请求时无法设置请求超时时间和请求读写超时时间。WebClient在异步下载时遇到网络不通等问题时没有响应超时造成app挂起。
public class WebClientto : WebClient
{
///
/// 过期时间
///
public int Timeout { get; set;...
分类：
Web开发 时间：
2015-04-22 11:43:29
收藏：
0 评论：
0 赞：
0 阅读：
209
TCP 报文格式
TCP（Transmission Control Protocol 传输控制协议）是一种面向连接的、可靠的、基于字节流的传输层通信协议。
TCP 报文段的报头有 10 个必需的字段和 1 个可选字段。报头至少为 20 字节。报头后面的数据是可选项。
1）源端口（16位）
标识发送报文的...
分类：
系统服务 时间：
2015-04-22 11:43:19
收藏：
0 评论：
0 赞：
0 阅读：
277
一、网络应用层编程
1、Linux网络编程01——网络协议入门
2、Linux网络编程02——无连接和面向连接的区别
3、Linux网络编程03——字节序和地址转换
4、Linux网络编程04——套接字
5、Linux网络编程05——C/S与B/S架构的区别
6、Linux网络编程06——UDP协议编程
7、Linux网络编程07——广播（即将更新）
8、Linux网络编程08...
分类：
系统服务 时间：
2015-04-22 11:43:09
收藏：
0 评论：
0 赞：
0 阅读：
294
#include
#define DefaultSize 10
using namespace std;
template
class Grail
{
public:
Grail()
{
data = new T[DefaultSize];
for(int i=0;i<10;i++)
{
data[i]=i;
}
}
const T& operator[](...
分类：
编程语言 时间：
2015-04-22 11:42:59
收藏：
0 评论：
0 赞：
0 阅读：
236
shell函数的返回值（return），仅支持整数
#!/bin/sh
get_str()
{
return "string"
}
get_str
echo $?
输出如下：
./test.sh: line 5: return: string: numeric argument required
255
可以看到已经提示要求return 整数类型，真实返回值是255。
解决办法：
...
分类：
系统服务 时间：
2015-04-22 11:42:49
收藏：
0 评论：
0 赞：
0 阅读：
315
Open Explorer Plugin for Eclipse
下载地址：https://github.com/samsonw/OpenExplorer/downloads
下载的jar包放到eclipse的plugin目录下后，eclipse 3.5+可以放到dropins目录下，重启eclipse...
分类：
系统服务 时间：
2015-04-22 11:42:47
收藏：
0 评论：
0 赞：
0 阅读：
256
有时候，需要将汉字编程对应的拼音，以方便数据的处理。比如在Android手机应用的开发上，要查询联系人的姓名，通常都是用拼音进行查询的。比如要查询“曹孟德”，就可以输入“cmd”，即“曹孟德”三个汉字的拼音“caomengde”各字的首字母。但是怎样才能将“曹孟德”翻译成“caomengde”呢？很简单的办法就是建立一个大的对照表(比如用关联容器Map)，比如，，…但这样的做法，需要维护好一个比较大的对照表，同时一个汉字可能有多个发音，也...
分类：
其他 时间：
2015-04-22 11:42:37
收藏：
0 评论：
0 赞：
0 阅读：
117
using System;
using System.Collections.Generic;
using System.Drawing;
using System.Drawing.Imaging;
using System.IO;
using System.Linq;
using System.Net;
using System.Text;
using System.Threading.Task...
分类：
Windows开发 时间：
2015-04-22 11:42:36
收藏：
0 评论：
0 赞：
0 阅读：
382
都说操作系统难，其实不然。只是我们看到或听到别人说难，想当然的就这么认为而已。如果静下心来好好看两天书，不说全懂，但大体上也知道有什么东西。
当然除此之外还要找准方法，就像米老师经常说的”编制知识网“。这就是一个将书读厚在变薄的过程。找到其中的节点，进行总结。依据此方法，我对操作系统做了一下小结：...
分类：
其他 时间：
2015-04-22 11:41:59
收藏：
0 评论：
0 赞：
0 阅读：
187
英文出处
学习机器学习有很多方法，大多数人选择从理论开始。如果你是个程序员，那么你已经掌握了把问题拆分成相应组成部分及设计小项目原型的能力，这些能力能帮助你学习新的技术、类库和方法。这些对任何一个职业程序员来说都是重要的能力，现在它们也能用在初学机器学习上。要想有效地学习机器学习你必须学习相关理论，但是你可以利用你的兴趣及对知识的渴望，来激励你从实际例子学起，然后再步入对算法的数学理解。通过本文你...
分类：
其他 时间：
2015-04-22 11:41:49
收藏：
0 评论：
0 赞：
0 阅读：
131
#include#define STU_NUM 10#define COURSE_NUM 5double CalAverage(double *pScore,int iLen){int i;double dSum = 0;for (i = 0;i < iLen;i++){dSum += pScore[i];}return (dSum/iLen);}double CalCourseAverage(d...
分类：
其他 时间：
2015-04-22 11:41:39
收藏：
0 评论：
0 赞：
0 阅读：
183
