首页 > 其他 > 详细

Hadoop之——HDFS随笔

时间:2015-05-21 22:39:48      阅读:220      评论:0      收藏:0      [点我收藏+]

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/45896307

1.对hdfs的操作方式:hadoop fs xxx

  hadoop fs -ls  /    查看hdfs的根目录下的内容的
  hadoop fs -lsr /    递归查看hdfs的根目录下的内容的
  hadoop fs -mkdir /d1    在hdfs上创建文件夹d1
  hadoop fs -put <linux source> <hdfs destination> 把数据从linux上传到hdfs的特定路径中
  hadoop fs -get <hdfs source> <linux destination> 把数据从hdfs下载到linux的特定路径下
  hadoop fs -text <hdfs文件>    查看hdfs中的文件
  hadoop fs -rm        删除hdfs中文件
  hadoop fs -rmr    删除hdfs中的文件夹

  hadoop fs -ls hdfs://hadoop0:9000/


2.HDFS的datanode在存储数据时,如果原始文件大小>64MB,按照64MB大小切分;如果<64MB,只有一个block,占用磁盘空间是源文件实际大小。

3.RPC(remote procedure call)
  不同java进程间的对象方法的调用。
  一方称作服务端(server),一方称作客户端(client)。
  server端提供对象,供客户端调用的,被调用的对象的方法的执行发生在server端。
 
  RPC是hadoop框架运行的基础。
4.通过rpc小例子获得的认识?
4.1 服务端提供的对象必须是一个接口,接口extends VersioinedProtocal
4.2 客户端能够的对象中的方法必须位于对象的接口中。

Hadoop之——HDFS随笔

原文:http://blog.csdn.net/l1028386804/article/details/45896307

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!