首页 > 其他 > 详细

Mapreduce----<<数学之美>>

时间:2014-04-16 16:03:39      阅读:352      评论:0      收藏:0      [点我收藏+]

吴军老师的《数学之美》第29章,用大白话给出了Mapreduce根本原理。

将一个大任务拆分成小的任务,并且完成子任务的计算,这个过程叫做Map

将中间结果合并成最终结果,这个过程叫做Reduce

______________________________________________________________________________________________________________________________________

首先,看一个最基本的问题:矩阵的乘法。

要实现矩阵乘法的MapReduce,只要能够理解分块矩阵相乘就可以了,已知矩阵

bubuko.com,布布扣bubuko.com,布布扣

其中:

bubuko.com,布布扣bubuko.com,布布扣

矩阵

bubuko.com,布布扣,那么bubuko.com,布布扣


下面我们将矩阵bubuko.com,布布扣和矩阵bubuko.com,布布扣分块,有太多方法,我这里还是拿《数学之美》中矩阵分块的方法。将矩阵bubuko.com,布布扣按列分为bubuko.com,布布扣块,矩阵bubuko.com,布布扣按行分为bubuko.com,布布扣块,即:

bubuko.com,布布扣

bubuko.com,布布扣

其中

bubuko.com,布布扣

那么显然:

bubuko.com,布布扣

这时候,我们就可以准备bubuko.com,布布扣台计算机,每一台计算机计算一个bubuko.com,布布扣,这就是Map的过程,然后,再把这bubuko.com,布布扣台计算机上的结果加和,就是Reduce的过程。

————————————————————————————————————————————————————————————————————————————

后续,会加上常用的机器学习算法的MapReduce过程。


Mapreduce----<<数学之美>>,布布扣,bubuko.com

Mapreduce----<<数学之美>>

原文:http://blog.csdn.net/zhangping1987/article/details/23738035

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!