首页 > Web开发 > 详细

SqoopFlume、Flume、HDFS之间比较

时间:2017-12-13 16:21:39      阅读:37      评论:0      收藏:0      [点我收藏+]

标签:方式   微博   分布式文件系统   服务器   tab   数据流   分布式   dbm   加载   

 

Sqoop

Flume

HDFS

Sqoop用于从结构化数据源,例如,RDBMS导入数据

Flume 用于移动批量流数据到HDFS

HDFS使用 Hadoop 生态系统存储数据的分布式文件系统

Sqoop具有连接器的体系结构。连接器知道如何连接到相应的数据源并获取数据

Flume 有一个基于代理的架构。这里写入代码(这被称为“代理”),这需要处理取出数据

HDFS具有分布式体系结构,数据被分布在多个数据节点

HDFS 使用 Sqoop 将数据导出到目的地

通过零个或更多个通道将数据流给HDFS

HDFS是用于将数据存储到最终目的地

Sqoop数据负载不事件驱动

Flume 数据负载可通过事件驱动

HDFS存储通过任何方式提供给它的数据

为了从结构化数据源导入数据,人们必须只使用Sqoop,因为它的连接器知道如何与结构化数据源进行交互并从中获取数据

为了加载流数据,如微博产生的推文。或者登录Web服务器的文件,Flume 应都可以使用。Flume 代理是专门为获取流数据而建立的。

HDFS拥有自己的内置shell命令将数据存储。HDFS不能用于导入结构化或流数据

 

SqoopFlume、Flume、HDFS之间比较

标签:方式   微博   分布式文件系统   服务器   tab   数据流   分布式   dbm   加载   

原文:http://www.cnblogs.com/huangjianping/p/8033041.html

(0)
(0)
   
举报
评论 一句话评论(0
0条  
登录后才能评论!
© 2014 bubuko.com 版权所有 鲁ICP备09046678号-4
打开技术之扣,分享程序人生!
             

鲁公网安备 37021202000002号