处理数据类型为Value型的Transformation算子可以根据RDD变换算子的输入分区与输出分区关系分为以下几种类型: 1）输入分区与输出分区一对一型 2）输入分区与输出分区多对一型 3）输入分区与输出分区多对多型 4）输出分区为输入分区子集型 5）还有一种特殊的输入与输出分区一对一的算子类型 ...
分类：
其他 时间：
2017-01-20 21:52:23
收藏：
0 评论：
0 赞：
0 阅读：
192
本质上在Actions算子中通过SparkContext执行提交作业的runJob操作，触发了RDD DAG的执行。 根据Action算子的输出空间将Action算子进行分类：无输出、 HDFS、 Scala集合和数据类型。 无输出 foreach 对RDD中的每个元素都应用f函数操作，不返回RDD ...
分类：
其他 时间：
2017-01-20 21:51:54
收藏：
0 评论：
0 赞：
0 阅读：
172
围着室友了解了很多事情。看到了她一年多前和我现在一样low的简历，然后又看了现在的简历，😄。看了室友第一份实习时考察她的资料，也看了决定她拿到offer的项目报告。新年的一年，好好加油，也许比学习更重要的，是发现自己最适合的岗位，慢慢否决掉不适合的，只有每天都在思考这些事情，总会慢慢有出路，总会一 ...
分类：
其他 时间：
2017-01-20 21:51:41
收藏：
0 评论：
0 赞：
0 阅读：
143
RDD简介 在集群背后，有一个非常重要的分布式数据架构，即弹性分布式数据集（Resilient Distributed Dataset，RDD）。RDD是Spark的最基本抽象,是对分布式内存的抽象使用，实现了以操作本地集合的方式来操作分布式数据集的抽象实现。RDD是Spark最核心的东西，它表示已 ...
分类：
其他 时间：
2017-01-20 21:50:28
收藏：
0 评论：
0 赞：
0 阅读：
263
Problem 1 恐狼后卫(wolf.cpp/c/pas) 【题目描述】 著名卡牌游戏《石炉传说》中有一张随从牌：恐狼后卫。恐狼后卫的能力是使得相邻随从的攻击力提高。 现在有n张恐狼后卫顺序排成一排，第i只恐狼后卫的攻击力为a[i]，血量为h[i]，提升相邻随从的攻击力值为b[i]。 你的攻击力为 ...
分类：
其他 时间：
2017-01-20 21:50:04
收藏：
0 评论：
0 赞：
0 阅读：
314
Centos-6.5安本文是为了帮助想以Cloudera搭建自己大数据管理和运行平台的朋友，由于Cloudera有多种安装方式，经过多次的尝试和研究，本文介绍的是其中一种更容易安装成功的方式，供大家参考。Cloudera的介绍可参考官方文档cloudera介绍包含cloudera的各个工程项目，这里就不再..
分类：
其他 时间：
2017-01-20 21:09:30
收藏：
0 评论：
0 赞：
0 阅读：
374
最近总有朋友问我，老司机啊，怎么快速提升自己的技术水平啊？我给他支了一招：你就每天写写日记吧。工作之外，抽空写一写今天学了什么。这样就可以快速提升你的能力了。然后，那位朋友似懂非懂的说了句噢，然后，就没有下文了。那么，为什么我建议你写日志呢？因为写日记有四..
分类：
其他 时间：
2017-01-20 21:09:16
收藏：
0 评论：
0 赞：
0 阅读：
357
开始所有程序找到Exchangetoolbox并启动里面有队列查看器可已查看队列情况，还可以选择“打开工具网站”来查找更多的内容。
分类：
其他 时间：
2017-01-20 21:08:43
收藏：
0 评论：
0 赞：
0 阅读：
379
sort用法将aa.txt文件按第2列从小到大排序：#sort-nk2aa.txt>aa2.txt将aa.txt文件按第2列从大到小排序：#sort-nrk2aa.txt>aa2.txt-n是按照数字大小排序-r是以相反顺序-k是指定需要爱排序的栏位-t指定栏位分隔符为冒号
分类：
其他 时间：
2017-01-20 21:08:11
收藏：
0 评论：
0 赞：
0 阅读：
234
在做系统优化的时候，ssh优化点；1、不要使用默认端口；2、禁止使用protocolversion1；3、限制可登录的用户；4、设定空闲会话超时时长；5、利用防火墙设置ssh访问策略；6、仅监听特定的IP地址；7、基于口令认证时，使用强密码策略；tr-dcA-Za-z0-9_</dev/urandom|head-c30|x..
分类：
其他 时间：
2017-01-20 21:07:54
收藏：
0 评论：
0 赞：
0 阅读：
465
vim/etc/salt/masterinterface:192.168.28.141#绑定到本地的某个网络地址publish_port:4505#默认端口4505,设置master与minion通信端口user:root#运行salt进程的用户max_open_files:100000#master可以打开的最大句柄数worker_threads:5#启动用来接收或应答minion的线程数ret_por..
分类：
其他 时间：
2017-01-20 21:07:39
收藏：
0 评论：
0 赞：
0 阅读：
198
认真对待每一天。勇敢迈出第一步，改变就在不远处。小包是个率真爽朗的女程序媛，从不搽脂抹粉的她，工作起来，是可以抛去一切形象的，散乱的头发，苦逼加班的黑眼圈，俨然一个男程序猿形象。但她的骨子里却散发着永不服输的气质。不加班的时候她喜欢宅在家里看书，或者和朋友..
分类：
其他 时间：
2017-01-20 21:07:10
收藏：
0 评论：
0 赞：
0 阅读：
325
来一个简单粗暴的tigervnc安装的教程，直入主题！安装必备软件yuminstall-ytigervnctigervnc-server
yumgroupinstall-y"Desktop"
yumgroupinstall-y‘XWindowSystem‘
yuminstallgnome-panel
yuminstallnautilus配置文件目录[root@iZwz9f1k5jyyhce8194b2iZ~]#rpm-qctigervnc-serv..
分类：
其他 时间：
2017-01-20 21:06:02
收藏：
0 评论：
0 赞：
0 阅读：
257
1、创建目录cd/srv/salt/packagemkdirhaproxymkdir-phaproxy/filesmkdir-phaproxy/pkg2、编写依赖包模块catpkg/pkg-init.slspkg-init:pkg.installed:-names:-gcc-gcc-c++-glibc-make-autoconf-openssl-openssl-devel-htop-vim-lrzsz3、安装包准备ls-lhaproxy/files-rw-r--r--1r..
分类：
其他 时间：
2017-01-20 21:05:25
收藏：
0 评论：
0 赞：
0 阅读：
253
""空字符串，会创建一个对象，分配内存空间NULL，不会创建对象，不会分配内存空间，意思是不存在的#include<iostream>
usingnamespacestd;
intmain()
{
std::stringstrTemp;
if(strTemp.empty())
{
cout<<"isempty"<<endl;
}
else
{
cout<<"isnotemp..
分类：
其他 时间：
2017-01-20 21:04:58
收藏：
0 评论：
0 赞：
0 阅读：
327
人生没有后悔药，倘若你走错一步，换来的便是深深的悔恨。而做IT运维的我们，更能深刻的理解，往往一个小小的失误，换来的则可能是对业务数据毁灭性的打击。IT运维强调的是“未雨绸缪，防范于未然”，但往往天灾可防，人祸难免。遭受黑客攻击或人为误操作的情况在所难免，这个..
分类：
其他 时间：
2017-01-20 21:03:48
收藏：
0 评论：
0 赞：
0 阅读：
290
需求描述：我们是web服务器，所以肯定是要做负载均衡的。负载均衡能够大大降低web服务器的访问压力。这里做一下记录选择负载均衡器这里有两个类型，根据实际情况来眩如果需要session的话选第二种。如果web服务器有缓存就选第一种2.配置名称和子网3.配置安全组4.配置路由5.选择..
分类：
其他 时间：
2017-01-20 21:03:37
收藏：
0 评论：
0 赞：
0 阅读：
289
Go语言的流程控制主要分为三大类：1.条件判断
2.循环控制
3.无条件跳转条件判断Go语言的条件判断由if...elseif...else语句实现，条件表达式值必须是布尔类型，可省略圆括号，但是花括号不能省略且左花括号不能另起一行，比如：if7%2==0{
fmt.Println("7iseven")
}else{
fmt.Pri..
分类：
其他 时间：
2017-01-20 21:03:27
收藏：
0 评论：
0 赞：
0 阅读：
335
作用:SVN是比较好的版本管理器，有效解决多人多版本的文档和代码管理，能解决冲突和管理分支；架构:CS,BS都支持。安装包：一个服务器端安装包，一个客户端安装包，一个简体中文语言包；部署：先安装服务器程序，再安装客户端，再安装语言包（程序--tortoise--settings--把英文..
分类：
其他 时间：
2017-01-20 21:02:43
收藏：
0 评论：
0 赞：
0 阅读：
352
一、前言使用SSH可以在本地主机和远程服务器之间进行加密地传输数据，实现数据的安全。而OpenSSH是SSH协议的免费开源实现，它采用安全、加密的网络连接工具代替了telnet、ftp等古老明文传输工具。SSH（SecureShell）是建立在应用层和传输层基础上的安全协议。SSH是目前较可靠，..
分类：
其他 时间：
2017-01-20 21:01:34
收藏：
0 评论：
0 赞：
0 阅读：
326
