首页 > 其他 > 详细

Flink 本地环境standalone部署

时间:2021-04-06 15:12:45      阅读:16      评论:0      收藏:0      [点我收藏+]

Flink 本地环境standalone部署

环境说明:
虚机:centos7 4G 20G ,注意网络连接和防火墙问题

一、安装JDK

JDK安装版本要求8.0以上

--1.下载JDK
下载地址:wget http://download.oracle.com/otn-pub/java/jdk/8u161-b12/2f38c3b165be4555a1fa6e98c45e0808/jdk-8u161-linux-x64.tar.gz?AuthParam=1520597226_3859abf707ddff580b4ec984d405aa1a
通过文件工具上传至/tmp/flink目录

--1.解压文件
--方法1:
mkdir /usr/local/jdk
进入/tmp/flink
tar -zxvf jdk-8u161-linux-x64.tar.gz -C /usr/local/jdk

ll /usr/local/jdk

--2.配置环境变量

sudo vim /etc/profile

JDK

JAVA_HOME=/usr/local/jdk/jdk1.8.0_161 #此处修改
JRE_HOME=$JAVA_HOME/jre
PATH=$PATH:$JAVA_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME
export JRE_HOME
export PATH
export CLASSPATH

执行命令,刷新该配置(必备操作):

source /etc/profile

检查是否使用了最新的 JDK:

java -version

--1.下载安装包
mkdir /opt/flink/
cd /opt/flink/
wget https://downloads.apache.org/flink/flink-1.12.2/flink-1.12.2-bin-scala_2.12.tgz
注:这里下载bin版本,而不是src版本

--2.解压
tar xf /opt/flink/flink-1.12.2-bin-scala_2.12.tgz

--3.进入目录启动

[root@localhost bin]#cd flink-1.12.2/bin/

[root@localhost bin]# ./start-cluster.sh

Starting cluster.

Starting standalonesession daemon on host master.

Starting taskexecutor daemon on host master.

[root@localhost bin]# ps -aux | grep java

root 22980 0.0 0.0 112712 976 pts/2 S+ 01:37 0:00 grep --color=auto java

--4.查看启动的默认端口
[root@localhost bin]# ss -lntp
观察是否有一个8081的端口

--5.浏览器访问地址:IP:8081

三、提交一个作业操作
1、启动nc

nc -l 9000

备注:如果没有安装nc ,通过yum 安装 : yum install -y nc
2、启动默认案例
案例1:
[root@localhost flink-1.12.2]# ./bin/flink run ./examples/batch/WordCount.jar
案例2
[root@localhost flink-1.12.2]# ./bin/flink run examples/streaming/SocketWindowWordCount.jar --port 9000

Starting execution of program

3、浏览器里查看作业

在NC进程输入单词

[root@localhost bin]# nc -lk 9000

4、查看日志

[root@master log]# tail -f flink-root-taskexecutor-0-localhost.localdomain.out

注:日志列表可以在浏览器上看到,其中如果不是一次运行job,"taskexecutor-0"可能不是当前日志,可尝试查看taskexecutor-1或taskexecutor-2.

配置环境变量(可选)
1.配置环境变量

vi /etc/profile
export FLINK_HOME=/opt/flink/flink-1.12.2/
export PATH=$FLINK_HOME/bin:$PATH

source /etc/profile

2.配置开启启动
vi /etc/rc.local
chmod +x /etc/rc.local
export FLINK_HOME=/opt/flink/flink-1.12.2/
export PATH=$FLINK_HOME/bin:$PATH
/opt/flink/flink-1.12.2/bin/start-cluster.sh
/opt/flink/flink-1.12.2/bin/historyserver.sh start

Flink 本地环境standalone部署

原文:https://www.cnblogs.com/solan-yang/p/14621570.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!