首页 > 其他 > 详细

踏着前人的脚印学Hadoop——结构、重点

时间:2014-12-31 22:44:19      阅读:401      评论:0      收藏:0      [点我收藏+]

HDFS作为一个分布式文件系统,是所有这些项目的基础。分析好HDFS,有利于了解其他系统。由于Hadoop的HDFS和MapReduce是同一个项目,我们就把他们放在一块,进行分析。

如果把整个hadoop当做一个java中的类的话,那么HDFS就是这个类的静态变量,其他的项目是hadoop中的方法。

hdfs

HDFS,Hadoop的分布式文件系统实现

文件系统的抽象,可以理解为支持多种文件系统实现的统一文件访问接口

fs

文件系统的抽象,可以理解为支持多种文件系统实现的统一文件访问接口

ipc

一个简单的IPC的实现,依赖于io提供的编解码功能

参考:http://zhangyu8374.javaeye.com/blog/86306

io

表示层。将各种数据编码/解码,方便于在网络上传输

mapreduce

Hadoop的Map/Reduce实现

filecache

提供HDFS文件的本地缓存,用于加快Map/Reduce的数据访问速度

ipc

一个简单的IPC的实现,依赖于io提供的编解码功能

参考:http://zhangyu8374.javaeye.com/blog/86306

io

表示层。将各种数据编码/解码,方便于在网络上传输

 

 

技术分享

踏着前人的脚印学Hadoop——结构、重点

原文:http://www.cnblogs.com/shunliu-java/p/4196680.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!