首页 > 其他 > 详细

HDFS和YARN的各个组件

时间:2021-09-09 22:29:40      阅读:40      评论:0      收藏:0      [点我收藏+]

Hadoop集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起。

(1)HDFS集群:负责海量数据的存储,集群中的角色主要有 NameNode / DataNode/SecondaryNameNode。

(2)YARN集群:负责海量数据运算时的资源调度,集群中的角色主要有 ResourceManager /NodeManager

(3)MapReduce:它其实是一个应用程序开发包。

DFS的两个主要组成部分是

  NameNode –这是主节点,用于处理HDFS中数据块的元数据信息

  DataNode / Slave节点–这是一个充当从节点存储数据以供NameNode处理和使用的节点

  除了满足客户端请求之外,NameNode还执行以下两个角色之一:

  CheckpointNode –它运行在与NameNode不同的主机上

  BackupNode-这是一个只读的NameNode,其中包含文件系统元数据信息(不包括块位置)

YARN的两个主要组成部分是:

  ResourceManager –此组件接收处理请求,并根据处理需要相应地分配给相应的NodeManager。

  NodeManager –在每个数据节点上执行任务。

了解更多大数据培训就业相关面试题欢迎关注小编!

HDFS和YARN的各个组件

原文:https://www.cnblogs.com/majhw/p/15246742.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!