首页 > 系统服务 > 详细

Linux-Flink集群安装配置 (非HA模式)

时间:2020-06-12 20:54:47      阅读:95      评论:0      收藏:0      [点我收藏+]

Linux-Flink集群安装配置  (非HA模式)

Flink version:flink-1.9.1-bin-scala_2.12.tgz

服务器:203.3.235.176,203.3.235.177,203.3.235.178(后续文档中IP用node1/node2/node3代替)

部署目录:/home/admin/flink(后续文档中目录用$flink_path代替)

!在java1.8安装成功后

1. 解压Flink压缩包到目录$flink_path

  >tar -zxvf flink-1.9.1-bin-scala_2.12.tgz

2. 进入flink目录,编辑conf/masters,conf/slaves,(三个node都一样)

  Masters

node1:8081

  Slaves

node1   #不用加端口

node2

node3

3. 修改flink-conf.yaml文件参数(三个node都一样)

jobmanager.rpc.address: node1  #Job manager是node1

jobmanager.rpc.port: 6379

jobmanager.heap.size: 1024m

jobmanager.web.tmpdir: $flink_path/flink-web 

jobmanager.web.upload.dir: $flink_path/flink-web   #重启flink后之前所上传的jar包会重新自动上传

taskmanager.numberOfTaskSlots: 8   #每个taskmanager所拥有的slots数量

parallelism.default: 1

io.tmp.dirs: $flink_path/logs

4. 修改conf目录下zoo.cfg文件(三个node都一样,当flink用zookeeper管理时配置,否则可以不用配置此文件)

server.1 = zknode1:2888:3888

server.2 = zknode2:2888:3888

server.3 = zknode3:2888:3888

5. 通过scp指令将以上配置文件发给其他节点(如有需要请输入密码)

  >scp -r $flink_path/ admin@node2:$flink_path

  >scp -r $flink_path/ admin@node3:$flink_path

6. 在node1上启动zookeeper的quorum和flink,其他两台不用启动,启动时需要输入密码

  启动:> start-zookeeper-quorum.sh (当步骤4没配置时,不用执行此命令)

     >start-cluster.sh

  停止:>stop-cluster.sh

     >stop-zookeeper-quorum.sh(当步骤4没配置时,不用执行此命令)

7. 验证

  浏览器打开node1:8081,若看见Flink管理界面则启动成功,即可

技术分享图片

 

Linux-Flink集群安装配置 (非HA模式)

原文:https://www.cnblogs.com/xin-xing/p/13109845.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!