首页 > 其他 > 详细

Flink 任务提交

时间:2021-04-18 21:55:29      阅读:21      评论:0      收藏:0      [点我收藏+]

技术分享图片

 

Flink Job Cluster
Cluster Lifecycle: JobManager 随 Job启动结束, TaskManagers 根据任务资源惰性配.
Resource Isolation: JobManager的致命错误只影响当前 Job.
Other considerations: 依赖外部资源组件启动 TaskManager 和资源分配, 适合大型任务长期运行, 要求稳定性高, 对启停时间不敏感.
Flink Application Cluster
Cluster Lifecycle: 作业逻辑和依赖打包成可执行Jar, 由ApplicationClusterEntryPoint.main()启动集群. 生命周期同Job.
Resource Isolation: Job隔离.
Flink架构
JobManager
ResourceManager: 管理slots, 实现了YARN, Mesos, Kubernetes and standalone deployments资源管理接口, standalone deployments不支持新TaskManagers启动.
Dispatcher: 提供RestAPI供任务提交启动和执行, 提供 Flink WebUI 展示Job信息.
JobMaster: 管理一个JobGraph, 多个JobGraph共享FLink集群时有自己对应的JobMaster.
TaskManagers: 使用slot执行task, slots数代表task并发数.

Flink 任务提交

原文:https://www.cnblogs.com/tyxuanCX/p/14668219.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!