首页 > 其他 > 详细

Hadoop组件

时间:2019-03-29 15:32:31      阅读:131      评论:0      收藏:0      [点我收藏+]

Hive-----------------------------------zooKeeper-----------------------------------kafka-----------------------------------sqoop-------------------------------flume---------------------------------------------------------Hbase

 

Hive:

Hive:由Facebook开源用于解决海量结构化日志的数据统计。

Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。

本质:将HQL转化成Map Reduce程序  

 ======Hive处理的数据储存在HDFS

      Hive分析数据底层的实现是Map Reduce

      执行程序运行在YARN上  

 


 

Zookeeper

https://zookeeper.apache.org/

Zookeeper:是一个开源的分布式的,为分布式应用提供协调服务的Apache项目

Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,Zookeeper就将负责通知已经

在Zookeeper上注册的那些观察者做出相应的反应,从而实现集群中类似Master/Slave管理模式

ZooKeeper = 文件系统 + 通知机制

 

Hadoop组件

原文:https://www.cnblogs.com/Vowzhou/p/10621207.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!