首页 > 其他 > 详细

YARN对比MapReduce1

时间:2016-03-03 19:04:05      阅读:127      评论:0      收藏:0      [点我收藏+]
  1. 可扩展性:与jobtracker相反,每一个应用实例,这里可以说是一个MapReduce job有一个转有的应用管理,在应用执行期间运行。这个模型更靠近原始的google论文。
  2. 高可用:高可用(High availability)通常是在服务进程失败后,另一个守护进程(daemon)能够复制状态并且接管工作。然而,对于大量快速复杂的状态改变,在jobtracker的内存中,使它非常困难保证HA对于这个服务,通过对jobtracker的责任拆分,一个resource manager 和一个application master在YARN中。使得个可用变了一个分治问题。
  3. 利用率:MapReduce1 每一个tasktracker被一个静态分配的固定大小的slots配置。将其分配为map slots 和reduce slots在配置的时候,一个map slot 只能跑map任务,一个reduce slot只能跑reduce任务。在YARN中,一个node manager管理一个资源池,难道在MapReduce 1中,reduce必须得等到map任务跑完才能跑?
  4. 多租户(Multitenancy):YARN的最大好处,是它打开了Hadoop的大门,对于其他分布式的应用。MapReduce也只不过是其中的一个应用而已。

YARN对比MapReduce1

原文:http://www.cnblogs.com/dalu610/p/5239583.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!