春节前用的shark,是从github下载的源码,自己编译。shark的master源码仅支持hive 0.9,支持hive 0.11的shark只是个分支,不稳定,官方没有发布release版,我在使用过程中出现了很多问题。现在官方将hive 0.11分布合并到主干代码,并且发布了支持hive 0.11的稳定版本。为了使用最新的shark 0.9,重新安装部署整个环境,包括:hadoop cdh 4.5+hive 0.11(shark 0.9版)+spark 0.9 +shark 0.9。
一、配置linux用户
groupadd hadoopgroup
adduser -g hadoopgroup kituser
passwd kituser
二、ssh无验证登陆
1、用kituser登陆,执行:
ssh-keygen -t rsa -P ""
cat .ssh/id_rsa.pub >> .ssh/authorized_keys
完成后,用ssh localhost测试。
2、将服务器的authorized_keys文本文件内容“追加”到各客户端的authorized_keys文件中,将客户端的authorized_keys追加到服务端的authorized_keys文件中。
三、上传文件解压后的hadoop文件夹
四、未完
原文:http://www.cnblogs.com/lam99v/p/3556121.html