首页 > 其他 > 详细

分布式调度系统现状

时间:2017-11-16 16:45:33      阅读:267      评论:0      收藏:0      [点我收藏+]

来自于阿里云

https://edu.aliyun.com/course/31/learn?spm=5176.8764728.0.0.qDnlmZ#lesson/618

课时一:分布式调度系统的现状

分布式调度的两大任务:任务调度和资源调度

任务调度:大量的计算任务、任务如何让切分、数据如何分割运算、监控运算状态

资源调度:供给方、不同业务间的平衡资源、支持优先级抢占

 

分布式调度系统:Hadoop MR(map reduce) ,YARN, Mesos, Aliyun-Fuxi

hadoop的map-reduce 典型的主从关系,存在的问题是 规模扩展存在瓶颈,

1.每增加一个节点,task_track注册到job_track就要加载新的内存

2.容错性差,Job Tracker 单点没有failover 一旦宕机,就会造成信息丢失

3.不利于功能扩展,不同任务采用不同的调度策略

 

很难做到热拔插(不停止进程的情况下改变系统的调度行为)

YARN:

区别(与hadoop)

1.将资源调度与任务调度进行区分

2.可以支撑更大的计算规模

 

缺陷:

1.只支持内存维度的分配

2.资源的交互性能

 

{调度是一个背包问题:

考虑内存时,调度是一维线性规划,

增加资源时,调度是高维背包问题

所以YARN仅支持内存维度的问题

}

 

分布式调度系统现状

原文:http://www.cnblogs.com/mesakiiyui/p/7844919.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!