首页 > 其他 > 详细

RDD的iterator中的缓存处理内幕 -- (视频笔记)

时间:2015-12-30 13:03:37      阅读:164      评论:0      收藏:0      [点我收藏+]

前提storageLevel != null

 读源码查看

先看ietrator,

查看storageLevel

看sparkEnv.getMemoryManger,通过block manager来操作具体的storage,a list of partitions;RDD获取缓存实质上通过block manager 来获取,partition经过处理后的数据。缓存是block级别的。

 

RDD的iterator中的缓存处理内幕 -- (视频笔记)

原文:http://www.cnblogs.com/isenhome/p/5088191.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!