分布式并行计算MapReduce

HDFS：

HDFS是Hadoop的分布式文件系统，全名为Hadoop Distributed File System。它有以下三个基本概念：

Block（块），块是默认大小为64MB的逻辑单元。HDFS里面的文件被分成相同大小的数据块来进行存储和管理。当然，文件的备份和查找也是基于数据块进行处理的。

NameNode，NameNode是管理节点（直译名字节点）。它存放着文件与数据块（Block）的映射表，也存放着数据块与数据节点（DataNode）的映射表。这俩被统称为文件元数据。

DataNode，DataNode是工作节点（也就是数据节点），用来存放数据块。比如下图中，每个工作节点就存放了三个数据块。

MapReduce原理

MapReduce的本质是Map-Reduce的批处理计算模型。Map指的是把一个大任务分割成多个小的子任务，Reduce指的是把子任务执行完后的结果合并的规约过程。可以看出，MapReduce也存在着分治法的思想。

比如，我们要从大容量的网络访问日志文件中，找出访问次数最多的IP地址。MapReduce先把日志切分成几个子任务，并统计IP出现的次数。接着任务间互相交换结果，把各个IP地址的访问结果统计出来，最后中间结果合并，排序，就知道了哪个IP地址访问次数最多了。

MapReduce适用于大规模数据集的并行运算。

 运行流程：

分布式并行计算MapReduce

原文：https://www.cnblogs.com/hongna/p/10966567.html