MapReduce的shuffle
1.input map shuffle reduce output
2.shuffle的实现的功能：分区 分组 排序(key字典序)
3.map端的shuffle context.write() 写入到环形缓冲区（内存区域），假设缓冲区设置的是100M，当达到缓冲区的80%的时候，就会溢写出一个小文件，溢出到磁盘之前做了二件事，分区 排序 两个reduce
merge 将小文件进行合并
合并之后 分区内有序
merge之后 maptask结束 ，会通知appmaster我已经结束任务，am通知reduce拉取数据。
reduce shullfe:
reduce启动线程通过网络到每台机器上拉取属于自己的数据
reduce1会拉取属于自己的数据：
将整体分区的数据进行排序
MapReduce shuffle 优化
1.合理设置partition 使用多个reduce处理输出结果
2.减少reducer从map拉取的数据量
（1）将map数据进行压缩（snappy 压缩质量不高 但是读取速度快，） 也可以在reduce输出的时候增加gzip 压缩实现 保证压缩率快速输出
（2）合理使用combiner（减少reducer输入数据量）
spark 的shuffle
ShuffleManager管理
HashShuffleManager
SortShuffleManager
抛弃了HashShuffleManager
原文：https://www.cnblogs.com/yyfyl/p/12844131.html