首页 > 其他 > 详细

mapreduce的初识

时间:2019-05-17 23:10:08      阅读:154      评论:0      收藏:0      [点我收藏+]

MapReduce进程
一个完整的mapreduce程序在分布式运行时有三类实例进程:
1)MrAppMaster:负责整个程序的过程调度及状态协调
2)MapTask:负责map阶段的整个数据处理流程
3)ReduceTask:负责reduce阶段的整个数据处理流程

理论(后续补齐):

MapReduce理论


Writable序列化
InputFormat数据切片
MapTask工作机制
Shuffle机制
ReduceTask工作机制
OutputFormat自定义
MapReduce数据压缩
MapReduce内置计数器context.getCounter
MapReduce与yarn
MapReduce参数优化
资源相关参数
容错相关参数

 

mapreduce的初识

原文:https://www.cnblogs.com/zyanrong/p/10884036.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!