首页 > 其他 > 详细

spark内核揭秘-02-spark集群概览

时间:2015-01-18 10:35:03      阅读:169      评论:0      收藏:0      [点我收藏+]

Spark集群预览:

官方文档对spark集群的初步描述如下,这是一个典型的主从结构:

技术分享

官方文档对spark集群中的一些关键点给出详细的指导:

技术分享

其Worker的定义如下所示:

技术分享

需要注意的是Spark Driver所在的集群需要和Spark集群最好位于同一个网络环境中,因为Driver中的SparkContext实例需发送任务给不同Worker Node的Executor并接受Executor的一些执行结果信息,一般而言,在企业实际的生产环境中Driver所在的机器是的配置往往都是比较不错的,尤其是其CPU的处理能力要很强悍。


spark内核揭秘-02-spark集群概览

原文:http://blog.csdn.net/stark_summer/article/details/42833605

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!