Flink 本地环境standalone部署
环境说明:
虚机:centos7 4G 20G ,注意网络连接和防火墙问题
JDK安装版本要求8.0以上
--1.下载JDK
下载地址:wget http://download.oracle.com/otn-pub/java/jdk/8u161-b12/2f38c3b165be4555a1fa6e98c45e0808/jdk-8u161-linux-x64.tar.gz?AuthParam=1520597226_3859abf707ddff580b4ec984d405aa1a
通过文件工具上传至/tmp/flink目录
--1.解压文件
--方法1:
mkdir /usr/local/jdk
进入/tmp/flink
tar -zxvf jdk-8u161-linux-x64.tar.gz -C /usr/local/jdk
ll /usr/local/jdk
--2.配置环境变量
JAVA_HOME=/usr/local/jdk/jdk1.8.0_161 #此处修改
JRE_HOME=$JAVA_HOME/jre
PATH=$PATH:$JAVA_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME
export JRE_HOME
export PATH
export CLASSPATH
source /etc/profile
java -version
--1.下载安装包
mkdir /opt/flink/
cd /opt/flink/
wget https://downloads.apache.org/flink/flink-1.12.2/flink-1.12.2-bin-scala_2.12.tgz
注:这里下载bin版本,而不是src版本
--2.解压
tar xf /opt/flink/flink-1.12.2-bin-scala_2.12.tgz
--3.进入目录启动
[root@localhost bin]#cd flink-1.12.2/bin/
[root@localhost bin]# ./start-cluster.sh
Starting cluster.
Starting standalonesession daemon on host master.
Starting taskexecutor daemon on host master.
[root@localhost bin]# ps -aux | grep java
root 22980 0.0 0.0 112712 976 pts/2 S+ 01:37 0:00 grep --color=auto java
--4.查看启动的默认端口
[root@localhost bin]# ss -lntp
观察是否有一个8081的端口
--5.浏览器访问地址:IP:8081
三、提交一个作业操作
1、启动nc
备注:如果没有安装nc ,通过yum 安装 : yum install -y nc
2、启动默认案例
案例1:
[root@localhost flink-1.12.2]# ./bin/flink run ./examples/batch/WordCount.jar
案例2
[root@localhost flink-1.12.2]# ./bin/flink run examples/streaming/SocketWindowWordCount.jar --port 9000
Starting execution of program
3、浏览器里查看作业
在NC进程输入单词
[root@localhost bin]# nc -lk 9000
4、查看日志
[root@master log]# tail -f flink-root-taskexecutor-0-localhost.localdomain.out
注:日志列表可以在浏览器上看到,其中如果不是一次运行job,"taskexecutor-0"可能不是当前日志,可尝试查看taskexecutor-1或taskexecutor-2.
配置环境变量(可选)
1.配置环境变量
vi /etc/profile
export FLINK_HOME=/opt/flink/flink-1.12.2/
export PATH=$FLINK_HOME/bin:$PATH
source /etc/profile
2.配置开启启动
vi /etc/rc.local
chmod +x /etc/rc.local
export FLINK_HOME=/opt/flink/flink-1.12.2/
export PATH=$FLINK_HOME/bin:$PATH
/opt/flink/flink-1.12.2/bin/start-cluster.sh
/opt/flink/flink-1.12.2/bin/historyserver.sh start
原文:https://www.cnblogs.com/solan-yang/p/14621570.html