首页 > 编程语言 > 详细

python中的map&reduce

时间:2017-07-26 00:57:13      阅读:197      评论:0      收藏:0      [点我收藏+]

Map --映射

Reduce -- 归纳

将大数据标准化的处理

Map 拆封任务,Reduce将结果合并

这样是不是能够将很多计算机组成一台超级计算机呢?

一些问题:如果任务本身就很复杂,那么拆解任务本身就是一个很打的难题。

python 在2.6 的时候 增加了 map reduce函数

例如我们可以这样写

import urllib2
urls = [
    ‘https://www.baidu.com‘,
    ‘http://www.douban.com‘
]

resurt = map(urllib2.urlopen,urls)

#等价于

resurt = []
for url in urls:
    resurt.append(urllib2.urlopen(url))

 

python中的map&reduce

原文:http://www.cnblogs.com/nerdlerss/p/7237104.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!