Spark on yarn

ResourceManager  资源管理   只有一个（资源以Container表示）

ApplicationMaster  应用管理   用户每提交一个application都包含一个ApplicationMaster
NodeManager 每个节点对应一个

ApplicationMaster 启动后向ResourceManager要资源

每个Executor对应一个Container

每个SparkContext有一个ApplicationMaster

spark支持的两种模式区别 Spark Driver运行在哪儿

yarn-cluster（YarnClusterScheduler） （driver和ApplicationMaster运行在一起，client看不到运行结果）

yarn-client  （YarnClientClusterScheduler）（driver和client运行在一起，适用于终端返回结果）

本文出自 “一无所有 QQ:934033381” 博客，请务必保留此出处http://tianxingzhe.blog.51cto.com/3390077/1701836

Spark on yarn

原文：http://tianxingzhe.blog.51cto.com/3390077/1701836