首页 > 其他 > 详细

MapReduce——分布式文件计算系统

时间:2019-11-12 17:24:24      阅读:108      评论:0      收藏:0      [点我收藏+]

1修改配置文件

mapred-site.xml:

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

说明mapreduce是有yarn控制

yarn-site.xml:

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
 <property>
   <name>yarn.resourcemanager.ha.enabled</name>是否开启高可用
   <value>true</value>
 </property>
 <property>
   <name>yarn.resourcemanager.cluster-id</name>
   <value>cluster1</value>
 </property>
 <property>
   <name>yarn.resourcemanager.ha.rm-ids</name>逻辑名称
   <value>rm1,rm2</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname.rm1</name>
   <value>slave2</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname.rm2</name>
   <value>slave3</value>
 </property>
 <property>
   <name>yarn.resourcemanager.zk-address</name>
   <value>slave1:2181,slave2:2181,slave3:2181</value>
 </property>
</configuration>

分发配置文件到slave1、2、3
scp mapred-site.xml yarn-site.xml slave1:/usr/local/src/hadoop-2.6.5/etc/hadoop

slave2 slave3免密钥登陆
cat id_rsa.pub >> authorized_keys 
scp id_rsa.pub slave3:/root/.ssh/slave2.pub

2、开始启动集群
启动zookeeper: zkServer.sh start
启动hdfs: start-dfs.sh
启动yarn:start-yarn.sh

slave2 slave3启动Resourcemanager: yarn-daemon.sh start resourcemanager

8088端口可查看mapreduce相关情况:
技术分享图片

 

 



利用框架jar包封装的单词统计样例测试:
hadoop jar hadoop-mapreduce-examples-2.6.5.jar wordcount /user/root/test.txt /usr(输出目录)

关闭集群:
slave2、3:yarn-daemon.sh stop resourcemanager
master:stop-all.sh

MapReduce——分布式文件计算系统

原文:https://www.cnblogs.com/kb666666/p/11842871.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!