首页 > 其他 > 详细

Hadoop Mapreduce的运行机制

时间:2018-01-27 20:48:38      阅读:196      评论:0      收藏:0      [点我收藏+]

技术分享图片

  在Hadoop中,一个MapReduce作业会把输入的数据集切分为若干独立的数据块,由Map任务以完全并行的方式处理。框架会对Map的输出先进行排序,然后把结果输入给Reduce任务。作业的输入和输出都会被存储在文件系统中,整个框架负责任务的调度和监控,以及重新执行已关闭的任务。MapReduce框架和分布式文件系统是运行在一组相同的节点,计算节点和存储节点都是在一起的。

Hadoop Mapreduce的运行机制

原文:https://www.cnblogs.com/1iHu4D0n9/p/8367020.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!