首页 > 其他 > 详细

tachyon with hadoop

时间:2015-01-23 12:56:34      阅读:227      评论:0      收藏:0      [点我收藏+]

标签:class   style   com   log   src   文件   http   si   it   


hadoop2.2.0 jdk1.7 tachyon0.5.0 无zookeeper

tachyon和hadoop都是伪分布式模式


 

1.修改core-site.xml文件

<property>
 <name>fs.tachyon.impl</name>
 <value>tachyon.hadoop.TFS</value>
</property>

2.配置hadoop-env.sh

hadoop-env.sh文件中添加Tachyon客户端jar包路径的环境变量

export HADOOP_CLASSPATH=/home/hadoop/tachyon-0.5.0-bin/client/target/tachyon-client-0.5.0-jar-with-dependencies.jar

3.启动hadoop集群

sbin/start-dfs.sh
sbin/start-yarn.sh

4.启动tachyon

tachyon-start.sh local

技术分享

5.执行MR作业

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount -libjars /home/hadoop/tachyon-0.5.0-bin/client/target/tachyon-client-0.5.0-jar-with-dependencies.jar tachyon://hadoop:19998/test/passwd tachyon://hadoop:19998/out

6.查看结果

技术分享

tachyon tfs cat /out/part-r-00000

技术分享

 


 

tachyon with hadoop

标签:class   style   com   log   src   文件   http   si   it   

原文:http://www.cnblogs.com/admln/p/tachyon-with-hadoop.html

(0)
(0)
   
举报
评论 一句话评论(0
0条  
登录后才能评论!
© 2014 bubuko.com 版权所有 鲁ICP备09046678号-4
打开技术之扣,分享程序人生!
             

鲁公网安备 37021202000002号