hadoop archive的使用

可能磁盘使用情况很低 但是内存使用确很高 俗称 小文件吃内存

• 档案的创建
  

  hadoop archive -archiveName test.har -p /input /outputdir
  
  档案建立成功 为了优化小文件吃内存的情况 可以把小文件删除 
  hadoop fs -rm -r /input

• 档案的查看
  

  查看建立档案之后的样子
  hadoop fs -ls hdfs://node-1:8020/outputdir/test.har
  
  查看建立档案之前的样子
  hadoop fs -ls har://hdfs-node-1:8020/outputdir/test.har
  可以查询出该档案是由哪些小文件合并而来

• 档案的提取
  

  串行提取
  hadoop fs -cp har:///outputdir/test.har hdfs://node-1:8020/input
  
  hadoop distcp har:///outputdir/test.har hdfs://node-1:8020/input