首页 > 其他 > 详细

HDFS学习笔记4 -- Centralized Cache技术

时间:2014-04-23 13:06:54      阅读:487      评论:0      收藏:0      [点我收藏+]

  对于高频率使用的数据,用户可以将其放人某文件夹,然后向各个DataNode发出指示将其中的数据缓存在内存里。这种情况下,用户还可以利用一组zero-copy的API,同时由于不再需要反复验证数据完整性,可以显著提高计算效率。

  各DataNode的缓存由NameNode统一管理,周期性地向后者发送cache report。NameNode周期性地查询自己的缓存指令集(Set of cache directives)来决定需要将哪些块缓存或解除缓存。

  每条缓存指令(Cache directive)可以定义一条需要被缓存路径,如果指定的是文件夹,则只有其中第一级的文件能被缓存。指令中还可以指定一些额外的参数,如复制系数和过期时间等。

  缓存池(Cache pool)是一个管理单元的概念,对于一组缓存指令集,对不用的用户进行指令的读,写,添加,删除等权限管理功能。同时还可以用于资源管理,如规定最大缓存量。还可以提供一些缓存数据的统计信息。另外,还可以为它的所有cache设置一个最大生存时间。

  目前只支持文件和文件夹级的缓存,将来可能会支持文件块及子块级的缓存。

HDFS学习笔记4 -- Centralized Cache技术,布布扣,bubuko.com

HDFS学习笔记4 -- Centralized Cache技术

原文:http://www.cnblogs.com/lican/p/3681869.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!