Spark中的Scheduler
scheduler分成两个类型，一个是TaskScheduler与其实现，一个是DAGScheduler。
TaskScheduler:主要负责各stage中传入的task的执行与调度。
DAGScheduler:主要负责对JOB中的各种依赖进行解析，根据RDD的依赖生成stage并通知TaskScheduler执行。
实例生成
TaskSchedule...
分类：
其他 时间：
2014-05-04 09:07:25
收藏：
0 评论：
0 赞：
0 阅读：
432
概况
程序语言是为了书写计算机程序而人为设计的符号,用于对计算过程进行描述、组织和推导，程序语言分为低级语言和高级语言，低级语言包括计算机硬件能识别的由0、1组成的机器指令语言和用符号组成的指令语言汇编集合的汇编语言，高级语言是人们开发的功能更强、抽象级别更高的语言以支持程序设计，面向各类应用的程序语言。
由于计算机只能理解由0、1序列构成的机器语言，因此高级程序语言需要翻译，即...
分类：
其他 时间：
2014-05-04 09:38:18
收藏：
0 评论：
0 赞：
0 阅读：
390
用 BerryClip - 6 LED Board 显示树莓派的温度
BerryClip - 6 LED Board 是一个学习GPIO的开发板，适合我这样不懂硬件的童鞋，用python 控制6个LED灯，一个蜂鸣器，和一个开关
文档在这里
https://bitbucket.org/MattHawkinsUK/rpispy-berryclip/downloads/BerryClip...
分类：
其他 时间：
2014-05-04 09:37:50
收藏：
0 评论：
0 赞：
0 阅读：
588
调优数据库连接池
建立与DBMS的JDBC连接过程可能是相当缓慢的。如果您的应用程序需要反复打开和关闭数据库连接，这可以成为一个显著的性能问题。在JBoss AS中数据源的连接池提供了一种有效的解决该问题的方法。
要强调的是，当客户端关闭一个数据源的连接时，该连接返回到池中，这样可用于其它的客户端，因此，连接本身并没有关闭。打开和关闭池管理的连接的成本可以以纳秒来衡量，所以它对性能的影响无...
分类：
其他 时间：
2014-05-04 09:26:45
收藏：
0 评论：
0 赞：
0 阅读：
427
状态图（Statechart digram）是系统分析的一种常用工具，系统分析员在对系统建模时，最先考虑的不是基于活动之间的控制流，而是基于状态之间的控制流，因为系统中对象的状态变化最易被发现和理解。
状态机
要想画出状态图，首先得了解状态机，状态机是展示状态与状态转换的图。
状态图
一个状态图表示一个状态机，主要用于表现从一个状...
分类：
其他 时间：
2014-05-04 09:37:18
收藏：
0 评论：
0 赞：
0 阅读：
451
NYOJ 628 小媛在努力...
分类：
其他 时间：
2014-05-04 09:18:31
收藏：
0 评论：
0 赞：
0 阅读：
306
在uml中大部分模型描述了逻辑和设计方面的信息：
用例图知道期望
类图可以知道问题域的词汇（类、对象）
状体图、交互图和活动图可以知道类图中的词汇是如何写作完成行为的（逻辑结构）
实现图是用来描述实现方面的信息
它从系统的层次来描述：硬件的组成和布局；软件系统划分和功能实现。这两个方面分别是通过部署图和组件图来实现的：
构件图：用来显示一组构件之间的组织与依赖关系。主要...
分类：
其他 时间：
2014-05-04 09:01:09
收藏：
0 评论：
0 赞：
0 阅读：
384
So many days passed since the last C tutorial about the flowchart, this chapter we will go on the flowchart and while loops...
分类：
其他 时间：
2014-05-04 09:00:43
收藏：
0 评论：
0 赞：
0 阅读：
1800
题意：给两个字符串，求一个最短的子串。使得这个子串在两个字符串中出现的次数都等于1.出现的定义为：可以重叠的出现。
解法：后缀数组的应用。从小枚举长度。如果一个长度len合法的话：则一定存在这个样的sa[i]排名。sa[i]与s[i+1]的公共前缀长度大于等于len，且sa[i]与[i-1]的公共前缀长度小于len，同时sa[i+1]与[i+2]的公共前缀长度小于len，同时保证sa[i...
分类：
其他 时间：
2014-05-04 09:41:11
收藏：
0 评论：
0 赞：
0 阅读：
490
OpenCV249实现车牌定位，采用是sobel边缘检测、轮廓检测、腐蚀等实现。...
分类：
其他 时间：
2014-05-04 08:41:54
收藏：
0 评论：
0 赞：
0 阅读：
1178
codechef的本题算法也不难，但是codechef喜欢大数据，动不动就过万过十万，输入输出处理不好就会超时。
就像本题最大数据可能达到15万个整数。普通输入输出铁定超时了。
这里使用fread和fwrite这两个函数，设置好buffer，速度还是相当快的，而且相对很多程序都比较简单的了。
主要注意：
每个buffer数据块和下一个buffer数据块之间的衔接，不能破坏了最终需要...
分类：
其他 时间：
2014-05-04 08:53:27
收藏：
0 评论：
0 赞：
0 阅读：
411
一、卡尔曼滤波器的理论解释http://blog.csdn.net/lindazhou2005/article/details/1534234（推荐）二、代码中一些随机数设置函数，在opencv中文网站上没有查到：cvRandInit()
初始化CvRandState数据结构,可以选定随机分布的种类,并给定它种子,有两种情形
cvRandInit(CvRandState数据结构,随机上界,随机...
分类：
其他 时间：
2014-05-04 08:52:55
收藏：
0 评论：
0 赞：
0 阅读：
650
Linux中的每个进程都有自己的虚拟地址空间。操作系统的一个最重要的基本管理目的就是避免进程之间的相互影响。下面将介绍虚拟地址空间。
1.虚拟地址空间的优势：
通过虚拟地址访问内存有以下优势：
程序可以使用一系列相邻的虚拟地址来访问物理内存中不相邻的大内存缓冲区。
程序可以使用一系列虚拟地址来访问大于可用物理内存的内存缓冲区。当物理内存的供应量变小时，内存管理器...
分类：
其他 时间：
2014-05-04 08:52:26
收藏：
0 评论：
0 赞：
0 阅读：
511
Over the years, people discovered the concept of
a memory hierarchy,...
分类：
其他 时间：
2014-05-04 09:02:41
收藏：
0 评论：
0 赞：
0 阅读：
608
当编译...
分类：
其他 时间：
2014-05-04 09:49:26
收藏：
0 评论：
0 赞：
0 阅读：
464
最大团模板...
分类：
其他 时间：
2014-05-04 09:49:04
收藏：
0 评论：
0 赞：
0 阅读：
412
维护两个单调队列，一个存储当前点之前的最大值。
另外一个存储当前点之前的最小值。
若最大值与最小值之间的差大于k，那么就把最大值和最小值中位置靠前的往后移。
#include
#include
#include
#include
#include
using namespace std;
//#define INF ((1<<30)-1)
#define INF 0xfffff
#defin...
分类：
其他 时间：
2014-05-04 09:22:18
收藏：
0 评论：
0 赞：
0 阅读：
369
最近在学scala语言，scala代码如下：
import scala.collection.JavaConversions._
object Solution {
def solution(A: Array[Int]): Int = {
// write your code in Scala 2.10
// using quick sort to so...
分类：
其他 时间：
2014-05-04 09:21:51
收藏：
0 评论：
0 赞：
0 阅读：
423
字符串hash模板，
本题是求，给定字符串s中至少出现m次的最长字符串长度，及此时起始位置的最大值
LA 4513 Stammering Aliens
//#pragma warning (disable: 4786)
//#pragma comment (linker, "/STACK:16777216")
//HEAD
#include
#include
#include
#inc...
分类：
其他 时间：
2014-05-04 09:51:51
收藏：
0 评论：
0 赞：
0 阅读：
422
学习MFC的四大技术障碍
面向对象观念与C++语言
Windows程序基本观念
Microsoft Foundation Classes
集成开发环境与开发工具
需要的硬件环境
windows操作系统
Virsual C++（32位）
能运行上述操作系统的主机
常见名词：
API：应用程序接口，系统开放出来给用户使用的接口
SDK： windows开发工具
MFC： w...
分类：
其他 时间：
2014-05-04 09:51:26
收藏：
0 评论：
0 赞：
0 阅读：
431
