一、Map任务的执行过程
- 读取文件的内容,解析成key、value对,对输入文件的每一行,解析成key、value对。每一个键值对调用一次map函数
- 写自己的逻辑,对输入的key、value处理,转换成新的key、value输出
- 对输出的key,value进行分区
- 对不同分区的数据,按照key进行排序分组,相同的key的value放在一起
- 对分组后的数据进行归约
二、Reduce的执行过程
- 对多个map任务的输出,按照不同的分区,通过网络copy到不同的reduce节点
- 对多个map任务的输出进行合并,排序,写reduce函数自己的逻辑,对输入的key、value处理,转换成新的key、value输出
- 把reduce的输出保存到文件中
005、Hadoop-MapReduce详解
原文:http://www.cnblogs.com/hiter-java/p/4134003.html