首页 > 其他 > 详细

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(4)

时间:2017-04-16 22:43:37      阅读:254      评论:0      收藏:0      [点我收藏+]

7,在SparkWorker1和SparkWorker2上完毕和SparkMaster相同的Hadoop 2.2.0操作,建议使用SCP命令把SparkMaster上安装和配置的Hadoop的各项内容复制到SparkWorker1和SparkWorker2上;

8,启动并验证Hadoop分布式集群

第一步:格式化hdfs文件系统:

技术分享

技术分享

技术分享

第二步:进入sbin中启动hdfs,运行例如以下命令:

技术分享

启动步骤例如以下:

技术分享

此时我们发如今SparkMaster上启动了NameNode和SecondaryNameNode;

在SparkWorker1和SparkWorker2上均启动了DataNode:

技术分享

技术分享

此时訪问http://SparkMaster:50070 登录Web控制能够查看HDFS集群的状况:

技术分享

技术分享

技术分享



【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(4)

原文:http://www.cnblogs.com/wgwyanfs/p/6720136.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!