（二）Spark高可用HA搭建

时间：2020-06-27 12:44:42 阅读：76 评论：0 收藏：0 [点我收藏+]

一.集群规划

	Master	Slave1	Slave2	Slave3
IP	192.168.2.131	192.168.2.132	192.168.2.133	192.168.2.134
Zookeeper	有	有	有	无
Master	有	有	无	无
Worker	有	有	有	有

二.搭建Spark(HA)

2.1.说明

Spark(HA)启动前需要启动、zookeeper、hadoop、可参照zookeeper、hadoop(HA)进行搭建。 Spark参照Spark(spark on yarn 模式)安装，然后改动一些配置重启Spark即可。

1.配置spark-env.sh文件中添加【其他不变】
# 设置zookeeper维护主备切换
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=master:2181,slave1:2181,slave2:2181 -Dspark.deploy.zookeeper.dir=/spark"
2.手动启动
# cd /usr/local/spark/sbin/  进
# ./start-master.sh  启动备机
# jps  查看
# netstat -ntulp | grep Master进程号  通过进程号来查看端口