首页 > 其他 > 详细

大数据+并行计算+分布式计算知识点整理

时间:2018-08-21 20:34:16      阅读:188      评论:0      收藏:0      [点我收藏+]

1、请简要介绍一下Hadoop、Spark、MPI三种计算框架的特点以及分别适用什么样的场景?

Hadoop:基于分布式文件系统HDFS的分布式批处理计算框架,适用于数据量大、SPMD(单程序多数据)的应用

Spark:基于内存计算的并行计算框架,适用于需要迭代多轮计算的应用

MPI:基于消息传递的并行计算框架,适用于各种复杂应用的并行计算,支持MPMD(多程序多数据),开发复杂度高。

 

大数据+并行计算+分布式计算知识点整理

原文:https://www.cnblogs.com/yanmk/p/9321997.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!