MapReduce初步

最基本的海量数据分流思想

• 传统Hash，最基本的划分方法

　　– 如何将大数据、流量均分到N台服务器

　　– 找到合理的key，hash（key）尽量分布均匀

　　– hash(key)mod N == 0 分到 第0台，

　　– hash(key)mod N == i 分到 第i台

　　– hash(key)mod N == N-1 分到 第N-1台

• 随机划分

• 一致性Hash：支持动态增长，更高级的划分方法

MapReduce基本思想：分治思想

• MapReduce映射

　　– 分：map

　　　　• 把复杂的问题分解为若干“简单的 任务”

　　– 合：reduce

MapReduce计算框架- 执行流程

MapReduce编程模型

• 借鉴函数式的编程方式

• 用户只需要实现两个函数接口：

　　 • Map

　　　　(in_key, in_value) -> (out_key, intermediate_value) list

　　• Reduce

　　　　(out_key, intermediate_value list) ->out_value list

MapReduce初步

原文：https://www.cnblogs.com/xumaomao/p/11743185.html