首页 > 其他 > 详细

TEZ安装试用

时间:2015-07-19 11:27:02      阅读:270      评论:0      收藏:0      [点我收藏+]

下载地址:http://apache.dataguru.cn/tez/0.7.0/
第一次使用maven编译 tez的时候到tez ui部分报错,google后发现有人遇到类似问题是因为maven版本的问题,
当时我使用的是最新的maven3.3,我尝试换到maven3.2.5,再编译后成功。
其他步骤参考:http://www.myexception.cn/open-source/1927193.html
hdfs dfs -mkdir /apps/
hdfs dfs -copyFromLocal /app/tezsrc/tez-dist/target/tez-0.7.0.tar.gz /apps/

我写了一个脚本用于在结点之间复制文件与文件夹
vi dist.sh

#this shell used to distribute file to slaves
filepath=$1
target=$2
for node in $(cat $HADOOP_HOME/etc/hadoop/slaves);
do
        echo "copy $filepath to $node:$target now ......"
        if [ ! -d $filepath ]; then
                scp  $filepath hadoop@$node:$target
        else
                scp -r $filepath hadoop@$node:$target
        fi
done;


使用方法:
sh dist.sh source target

可以在hive中配置使用tez。

TEZ安装试用

原文:http://www.cnblogs.com/huaxiaoyao/p/4658243.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!