【Flink】打包提交到集群问题

时间：2021-05-15 18:57:02 阅读：19 评论：0 收藏：0 [点我收藏+]

一、clean之后直接package

The program‘s entry point class ‘com.atguigu.wcBase.Workcount‘ was not found in the jar file.

需要在clean之后build，再package

二、standalone

启动Flink集群 start-cluster

前提打开nc -lk 9999

提交job

flink run -c com.atguigu.wcBase.StreamWorkcount /opt/module/flink-1.11.3/learning-1.0-SNAPSHOT.jar --host localhost --port 9999

查看job

flink list

取消job

flink cancel jobId

三、yarn,启动yarn集群

1.启动yarn-session:yarn-session.sh -n 2 -s 2 -jm 1024 -tm 1024 -nm test -d

-n(--container)：TaskManager 的数量。

-s(--slots)：每个 TaskManager 的 slot 数量，默认一个 slot 一个 core，默认每个

taskmanager 的 slot 的个数为 1，有时可以多一些 taskmanager，做冗余。

-jm：JobManager 的内存（单位 MB)。

-tm：每个 taskmanager 的内存（单位 MB)。

-nm：yarn 的 appName(现在 yarn 的 ui 上的名字)。

-d：后台执行。

提交任务：

flink run -c com.atguigu.wcBase.StreamWorkcount /opt/module/flink-1.11.3/learning-1.0-SNAPSHOT.jar --host hadoop101 --port 9999

查看任务情况

http://hadoop102:8088/cluster

2.不启动yarn-session，

直接提交任务

flink run -m yarn-cluster -c com.atguigu.wcBase.StreamWorkcount /opt/module/flink-1.11.3/learning-1.0-SNAPSHOT.jar --host hadoop101 --port 9999

yarn控制台查看任务情况

http://hadoop102:8088/cluster

error：org.apache.flink.client.program.ProgramInvocationException: Job failed

　　　java.net.ConnectException: Connection refused

原因：9999端口被占，重启下nc -lk 9999

原文：https://www.cnblogs.com/fi0108/p/14771159.html

踩

(0)

评论一句话评论（0）

分享档案

更多>