HDFS 笔记

HDFS

Hadoop fs命令、

　　hadoop fs <>

三节点集群搭建。

本地文件系统与hdfs相隔离。

hdfs dfs <>

start-all.sh在哪里？

cd $HADOOP

/opt/bigdata/hadop-2.7.3/etc/hadoop

slaves文件内容 看一看。

ssh node-02 -> datanode

？？？

jsp查看进程

hdfs原理：（面试）

fault recovery

每个快都会有副本。128M最大切分。

一个datanode对应一个机器？

hdfs-site.xml配置

configuration

文档：https://hadoop.apache.org/docs/r2.7.3

blk保存在机架的灵活性，如何配置。

机架感知。 

副本零时性增多，提高吞吐量。

hadoop fs -settrep -R 4 /path

hdfa fsck /salary.txt -files -bllocks -locations

通过网页也可以查看：node-01:50070

4 HDFS 主从架构

读取方式

B1->dn1, dn2, dn3

B2->dn4,dn2, dn1

元数据->namenode 内存 namenode取回然后去各个block，组成hadoop.dat

HDFS适合大文件

HDFS有上限，因为每个元数据150Byte，而内存是有限的，故适合储存大文件

HDFS会将内存储存在硬盘上为了安全

Fsimage

Edits log

Secondary namenode

双缓存异步写

当t-t1>1h 触发Check-point

心跳机制

10min以上 视为datanode挂掉

1小时 block report

负载均衡

磁盘利用率差值变小

HDFS 笔记

原文：https://www.cnblogs.com/cschen588/p/11717627.html