一、Spark基础知识梳理
1.Spark是什么？
Spark是一个通用的并行计算框架，由UCBerkeley的AMP实验室开发。Spark基于map reduce 算法模式实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于Hadoop MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，节省了磁盘IO耗时，号称性能比Hadoop...
分类：
其他 时间：
2014-03-29 22:12:30
收藏：
0 评论：
0 赞：
0 阅读：
1114
人们经常会问如何获得创业的好点子？他们以为想起一个具有创意的点子，然后找几个技术人员实现一下就万事大吉了。其实点子本身是没有什么价值的，要不为什么没有专门卖点子的公司呢？
一个待解决的问题（Questions）
大部分创业公司都不会坚守最初的那个点子，其实最开始的那个创意点子只是一个起点，并不是一个完整的蓝图。在尝试过程中不断修整，最终才有可能做出来用户满意的产品。我们可以将点...
分类：
其他 时间：
2014-03-29 22:02:29
收藏：
0 评论：
0 赞：
0 阅读：
580
小猴子下落
时间限制：3000 ms | 内存限制：65535 KB
难度：3
描述
有一颗二叉树，最大深度为D,且所有叶子的深度都相同。所有结点从左到右从上到下的编号为1,2,3，·····，2的D次方减1。在结点1处放一个小猴子，它会往下跑。每个内结点上都有一个开关，初始全部关闭，当每次有小猴子跑到一个开关上时，它的状态都会改变，当到达一个内结点时，如果开关关闭，小猴子往...
分类：
其他 时间：
2014-03-29 22:30:20
收藏：
0 评论：
0 赞：
0 阅读：
539
我们在mmo中通常会有在GUI上面显示一个3D模型的需求，比如查看人物装备的界面。我网上搜索了下，搜到的结果都是直接绑定一个模型到UI的指定位置，最多添加一个摄像机以便控制2d渲染和3d模型渲染的先后层次关系。NGUI和Daikon Forge的Demo中也是这么做的。这么做比较直接简单，通过一个新的摄像机并指定渲染内容和层级确实也可以一定程度上解决模型和GUI的遮挡问题。但是这个方法并不完善，如...
分类：
其他 时间：
2014-03-29 21:52:09
收藏：
0 评论：
0 赞：
0 阅读：
815
重构概览
所谓重构(refactoring)是这样一个过程：在不改变代码外在行为的前提下，对代码做出修改，以改进程序的内部结构。摘要
摘要
如果你发现自己需要为程序添加一个特性，而代码结构使你无法很方便地达成目录，那就先重构那个程序，使特性的添加比较容易进行，然后再添加特性。
代码块愈小，代码的功能就愈容易管理，代码的处理和移动也就愈轻松。
Extract Met...
分类：
其他 时间：
2014-03-29 22:22:00
收藏：
0 评论：
0 赞：
0 阅读：
502
1.warning :make dep is unnecessary now
答：先介绍一下，make dep的作用。make dep的意思就是说：如果你使用程序A（比如支持特殊设备），而A需用到B(比如B是A的一个模块/子程序）。
而你在做make config的时候将一个设备的驱动由内核支持改为module,或取消支持，这将可能影响到B的一个参数的设置，需重新编译B，重新编译或连接A.....
分类：
其他 时间：
2014-03-29 21:31:21
收藏：
0 评论：
0 赞：
0 阅读：
562
这些天网上购买了一些书籍和生活用品，发现一些值得我们思考的现象。
互动网购物经历
china-pub上购买了《逆袭大学：传给IT学子的正能量》和《人是如何学习的》两书，3月16日凌晨下单，3月28日收到物品。在电商都竞争承诺“次日达”的情形下，12天的购物体验确实太漫长了。
邮编之过
大家在邮寄包裹时，都有记不清自己住处邮编的窘境。不同于以前（2003年以前...
分类：
其他 时间：
2014-03-29 22:06:04
收藏：
0 评论：
0 赞：
0 阅读：
570
题意:给出一个数字串,把它划分成K + 1份,使其乘积最大.
类似矩阵连乘的DP 设dp[i][j][p]为区间[i, j]划分成p份的最大乘积.
那么dp[i][j][p] = max(dp[i][k][p - 1] * val[k + 1][j]) val[i][j]为数字串i到j的值.
base case: dp[i][j][1] = val[i][j]
#include
#inc...
分类：
其他 时间：
2014-03-29 21:50:16
收藏：
0 评论：
0 赞：
0 阅读：
584
抽空有整理了一下设计模式，用自己的话总结了一下，自认为通俗易懂。
简单工厂模式：
包括三种角色，抽象产品、具体产品和工厂角色。其中在工厂直接完成对具体产品的创建。工厂模式的好处是需要创建对象的时候只需要输入一个正确的参数就可以获得所需要的对象，而无需知道其创建细节，这种模式将对象的创建和对象业务的处理分离，降低系统的耦合度，使得两者修改起来都相对容易。
工厂方法模式：
该模式包括四种角色，...
分类：
其他 时间：
2014-03-29 22:21:06
收藏：
0 评论：
0 赞：
0 阅读：
601
在我那台戴尔学生本上，对文件写入1千万条hello,world用FileInputStream花了52秒。因为一般是写入在page cache,估计主要花的时间是频繁的系统调用。
使用BufferedOutputStream发现缓存设置影响都不太大，64K是比较理想的:
默认512字节缓存 1106ms
64K缓存 1083ms
512K缓存 1551ms
1M缓存 1268ms
...
分类：
其他 时间：
2014-03-29 22:05:12
收藏：
0 评论：
0 赞：
0 阅读：
671
在上一篇博文中讲了驱动的安装，这一篇谈谈真机中的logcat读取。
如题所示，问题描述：
LogCat:Unable to open log device ‘/dev/log/main’: No such file or directory
解决方法（以华为c8812为例）：
1、在拨号盘输入 【*#*#2846579#*#*】打开测试菜单界面（如图1）
2、Project Me...
分类：
其他 时间：
2014-03-29 22:36:08
收藏：
0 评论：
0 赞：
0 阅读：
661
首先确定系统是否安装了ssh服务，如果没有则可以使用yum进行安装，参照前面关于yum使用的文章。
1、使用以下命令进行查看：
ssh -version
2、查看用户主目录下是否有.ssh文件夹（为隐藏文件夹）,其中javen为本人系统用户主文件夹名称
ll /home/javen/.ssh/没有的话就自行创建
mkdir /home/javen/.ssh
3、生成私钥和公钥...
分类：
其他 时间：
2014-03-29 21:56:56
收藏：
0 评论：
0 赞：
0 阅读：
755
话说单元测试，是指对软件中的最小可测试单元进行检查和验证。对于单元测试中单元的含义，一般来说，要根据实际情况去判定其具体含义，如C语言中单元指一个函数，Java里单元指一个类，图形化的软件中可以指一个窗口或一个菜单等。总的来说，单元就是人为规定的最小的被测功能模块。
就测试方面来讲，单元测试是在软件开发过程中要进行的最低级别的测试活动，软件的独立单元将在与程序的其他部分相隔离的情况下进行测试。...
分类：
其他 时间：
2014-03-29 22:25:36
收藏：
0 评论：
0 赞：
0 阅读：
404
在学习vb中，这些装换并没有深入研究，也是自己没有踏实的学习吧，这次到了c#，又一门高级语言，我不想在马虎的对待了。抓住每一个细节，把定义搞懂。这次讲一下对于类型装换的研究。
无论是什么类型的数据都是由一系列的位组成的，就是一组0和1。变量的含义是通过数据这种解释方式来传达的。一般情况不同的数据类型使用不同的模式来表示数据。类型转化有如下两种形式。
隐式转换：从类型A到类型B的转换可以...
分类：
其他 时间：
2014-03-29 21:32:19
收藏：
0 评论：
0 赞：
0 阅读：
571
在去年12月底开始接触高校平台项目，到现在也快有小半年了。这次的开发不同以往。是以敏捷开发作为开发方式。以前都是遵循传统的瀑布模型，而新方式的开发思路直接与传统的开发思路来了个正面碰撞，擦出了阵阵“火花”。
在一开始接触敏捷开发时，有些兴奋，有些期许，但是在真正用来做项目时，由于瀑布模式已经根深蒂固，再加上对需求不熟悉，对开发环境不熟悉，新方式的开发反而让人感到别扭，麻烦...
分类：
其他 时间：
2014-03-29 21:27:33
收藏：
0 评论：
0 赞：
0 阅读：
425
1、相关背景
WEP是一种可选的链路层安全机制，用来提供访问控制、数据加密和安全性检验等。其使用了RC4加密算法进行加解密，CRC进行校验。但随着技术的进步，WEP协议的缺陷逐渐暴露，出现了多种针对该协议的分析方法，FMS是重要的攻击方法之一。
起初，WEP标准被视为无线安全的解决方案。不过在802.11问世的前4年（1997年问世），研究人员发现WEP并不安全。但因为有时...
分类：
其他 时间：
2014-03-29 21:55:02
收藏：
0 评论：
0 赞：
0 阅读：
758
题目链接：fzu 1963 1963 交通建设
题目大意：略。
解题思路：kruskal的变形，外填一个汇点0，将建造飞机场看成是于0点建立一条边，费用为一个飞机场的价格。然后就是裸的kruskal算法，不过要注意的是如果只有一个点与0点相连，那么就要判断该点的飞机场是否为必须建立的，如果不为必须建立的则要减掉。
#include
#include
#incl...
分类：
其他 时间：
2014-03-29 22:29:27
收藏：
0 评论：
0 赞：
0 阅读：
591
Description
Text-processing tools like awk and sed allow you to automatically perform a sequence of editing operations based on a ｓcript. For this problem we consider the specific case in which we wa...
分类：
其他 时间：
2014-03-29 21:57:52
收藏：
0 评论：
0 赞：
0 阅读：
648
Intemet采用TCP/IP协议。TCP/IP是一种网际互联通信协议，它包括两个核心协议TCP和IP。TCP称为传输控制协议，IP称为互联网络协议。
[编辑]
TCP/IP的基本工作原理[2]
TCP/IP模型有四层(应用层、传输层、网际层、网络接口层)，每层分别具有不同的协议和功能，TCP/IP协议族是一组在不同层上的多个协议的组合。各层在实现自身的功能时，使用它的直接下层提供的...
分类：
其他 时间：
2014-03-29 22:13:25
收藏：
0 评论：
0 赞：
0 阅读：
711
题目链接：Problem 1963 交通建设
思路：多建一个虚拟的点，如果有机场，就和这个点相连，然后就是最小生成树问题了，最后要注意如果一开始没有机场，并且最后只有一条边和虚拟点相连，是需要扣掉权值CA的。
代码：
#include
#include
#include
using namespace std;
const int N = 1005;
const int ...
分类：
其他 时间：
2014-03-29 22:17:13
收藏：
0 评论：
0 赞：
0 阅读：
652
