首页 > 其他 > 详细

HDFS相关概念

时间:2018-06-05 14:32:12      阅读:192      评论:0      收藏:0      [点我收藏+]

一:hdfs设计原理

  负载均衡,考虑分布式计算

  -->block机制

二:block默认大小为128m,【hadoop2.0版本以上】,之前都是64m。

  原因:默认传输效率10M/s  寻址时间占传输时间的1%  寻址时间为10ms

  总结:block是物理的,真正存储的位置在本地磁盘{hadoop.tmp.dir}/dfs/data,

     block是针对文件说的,按照块号存储的物理文件,复本是针对块说的。

三:WebUI:50070描述

  Startup Progress页【集群开启的过程】

    -->加载fsimage镜像文件

    -->加载edits编辑文件

    -->Saving checkpoint(检查点)

    -->Safe mode

    -->awaiting reported blocks

 

HDFS相关概念

原文:https://www.cnblogs.com/lyr999736/p/9139441.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!