首页 > 其他 > 详细

有了Hadoop MapReduce, 为什么还要Spark?

时间:2015-05-21 18:48:27      阅读:172      评论:0      收藏:0      [点我收藏+]

a. 由于MapReduce的shuffle过程需写磁盘,比较影响性能;而Spark利用RDD技术,计算在内存中进行.

b. MapReduce计算框架(API)比较局限, 而Spark则是具备灵活性的并行计算框架.

c. 再说说Spark API方面- Scala: Scalable Language, 据说是进行并行计算的最好的语言. 与Java相比,极大的减少代码量.

有了Hadoop MapReduce, 为什么还要Spark?

原文:http://www.cnblogs.com/silva/p/4520317.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!