首页 > 其他 > 详细

Spark Storage 模块

时间:2015-10-07 17:32:18      阅读:164      评论:0      收藏:0      [点我收藏+]

http://jerryshao.me/architecture/2013/10/08/spark-storage-module-analysis/

大神写的太好了,我就不重复造轮子了。

 

Spark 1.5 与 Spark 0.7 在 Storage 模块的结构几乎一致,改变的地方在于:

1. RpcEndpoint 取代了 akka.Actor;

2. DiskStore 部分增加了 DiskBlockManager 功能,原先的 DiskStore 中一个 block 对应一个文件,现在可以多个 block 分别对应一个文件中的不同部分;

3. 除了 MemonryStore 和 DiskStore,还增加了 ExternalBlockStore,这是使用 Java 中的 OffHeap 方式自己管理内存实现的。

Spark Storage 模块

原文:http://www.cnblogs.com/keepthinking/p/4858961.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!