spark核心组件如下所示：
查看内存使用情况：
创建和启动scheduler：
集群核心组件中的Block tracker是用于block和partition对应关系的管理。
集群核心组件中的shuffle tracker是用于记录shuffle操作的过程细节。
从集群中也可以看出，Executor在执行任务的时候是采用多线程的方式执行的并能够在HDFS或者HBase等系统上读取数据。
而在实际的Driver Program运行的时候每个partition都会由一个task负责运行的
也就是说有多partition就会有多少task在运行，而这些task都是并发的运行在Executor中的。
原文：http://blog.csdn.net/stark_summer/article/details/42833655
