HDFS是Hadoop中自带的分布式文件系统，具有高容错、运行在廉价的机器上和高吞吐等特性。
l Hadoop fs：使用面最广，可以操作任何文件系统。
l hadoop dfs与hdfs dfs：只能操作HDFS文件系统相关（包括与Local FS间的操作），前者已经Deprecated，一般使用后者。
l 格式
l 任务：将HDFS目录的权限改为“rwxrwxrwx”。
l 步骤
|
Linux： // 将Hadoop当前用户设置为hdfs，实现HDFS访问授权 1. export HADOOP_USER_NAME=hdfs 2. hadoop fs -chmod -R 777 /tmp/{test} |
l 任务：在HDFS上创建目录“/tmp/{test}/hdfs_data”。
l 步骤
|
Linux： // 创建HDFS目录 1. hadoop fs -mkdir -p /tmp/{test}/hdfs_data |
l 任务：将本地文件“/var/log/transwarp-manager/master/transwarp-manager.log”上传到HDFS目录“/tmp/{test}/hdfs_data”中。
l 步骤
|
Linux： 1. hadoop fs –copyFromLocal 本地路径 hdfs路径 2. hadoop fs -copyToLocal hdfs路径 本地路径 |
|
|
l 任务：查看HDFS目录“/tmp/{test}/hdfs_data”的内容。
l 步骤
|
Linux： 1. hadoop fs -ls /tmp/{test}/hdfs_data |
l 任务：查看HDFS文件“/tmp/{test}/hdfs_data/transwarp-manager.log”的内容。
l 步骤
|
Linux： 1. hadoop fs -cat /tmp/{test}/hdfs_data/transwarp-manager.log |
l 任务：通过Transwarp Manager浏览HDFS目录，并找到文件“/tmp/{test}/hdfs_data /transwarp-manager.log”的Block Id。
l 步骤
|
Web： 1. 登录Transwarp Manager
2. 进入HDFS服务，点击左侧“角色”按钮
3. 点击Namenode后面的“Link”，确保进入的是Active Namenode 4. 点击菜单项“Utilities/Browse the file system”，浏览HDFS目录
5. 找到文件“/tmp/{test}/hdfs_data/transwarp-manager.log”，查看它的block ID
|
l 任务：在集群各节点的本地文件系统中，查找任务8中Block Id对应的Block文件。
l 步骤
|
Linux： 1. find / -name blk* | grep {block_id} |
l 任务：查看Namenode的主备状态，Active还是Standby。
l 步骤
|
Linux： // 查看Namenode nn1的主备状态，nn1为Namenode ID 1. hdfs haadmin -getServiceState nn1 2. hdfs haadmin -getServiceState nn2 |
l 任务：手工实现Namenode主备切换，即Active与Standby互换。
l 步骤
|
Linux： // 切换Namenode nn1和nn2的主备状态，nn1为Active，nn2为Standby 1. hdfs haadmin -failover nn1 nn2 |
l 任务：为HDFS文件夹“/tmp/{test}/hdfs_data”创建快照。
l 步骤
|
Linux： // 设置允许快照 1. hdfs dfsadmin -allowSnapshot /tmp/{test}/hdfs_data // 创建快照 2. hdfs dfs -createSnapshot /tmp/{test}/hdfs_data bak1 |
l 任务：删除目录“/tmp/{test}/hdfs_data”中的所有文件，然后利用快照恢复。
l 步骤
|
Linux： // 删除目录下的所有文件，并确认删除情况 1. hadoop fs -rm -skipTrash /tmp/{test}/hdfs_data/* 2. hadoop fs -ls /tmp/{test}/hdfs_data // 将快照目录下的文件复制到原目录下，实现快照恢复，并查看文件恢复情况 3. hadoop fs -cp /tmp/{test}/hdfs_data/.snapshot/bak1/* /tmp/{test}/hdfs_data 4. hadoop fs -ls /tmp/{test}/hdfs_data |
原文：https://www.cnblogs.com/witz/p/10347783.html