Yarn的工作机制

Yarn资源管理器。

Spark应用和Flink应用都会使用到Yarn。

Hadoop启动Yarn，启动了两个进程 ResourceManager、NodeManager。

Yarn角色组成

ResourceManager
一个集群只有一个 RM，它是 YARN 的总指挥，负责协调集群上的计算资源，它有以下两个组件：

• ApplicationsManager：这个不是 ApplicationMaster，注意区分。它会接受 Job 的提交请求，调度 Container 用于启动 ApplicationMaster，以及负责 ApplicationMaster 的失败重启。
• Scheduler：调度器纯粹为应用程序分配资源，它不会监控应用的状态，这里的调度就是基于 Container 这个抽象的资源容器，包含内存、CPU、磁盘、网络等。

NodeManager

一个集群中有多个 NodeManager，它负责启动 Container，监控 Container 的资源使用情况（cpu、内存、磁盘、网络），并将这些信息汇报给 RM。一个 NodeManager 上可以有多个 Container。
Container

Container 是一组硬件资源的抽象，包含 CPU、内存、磁盘、网络等，所有的 Job 都是在 Container 中运行：

• ApplicationsMaster：与 RM 协商资源，并与 NodeManager 一起监控任务。
• Task：具体任务。

Yarn的工作机制

原文：https://www.cnblogs.com/gentlescholar/p/14664181.html