首页 > Web开发 > 详细

Flume在企业大数据仓库架构中位置及功能

时间:2016-04-01 06:31:48      阅读:204      评论:0      收藏:0      [点我收藏+]

Flume在企业大数据仓库架构中位置及功能

数据仓库架构

1、如下图所示,外部数据中,关系型数据库导入到HDFS用sqoop,由Nginx产生的文件实时监控用Flume获得。
在HDFS或Hbase中,如果要进行实时查询用Impala(内存),如果是分析可以用Hive,Mapreduce分析。用Oozie来调用工作流执行任务。
技术分享

2、左边是数据的来源:系统日志文件,应用文件(应用系统收集APP产生的日志),点击流(点击产生的日志),销售点(订单信息)。通过Flume收集然后给HDFS存储。
技术分享

3、Flume在企业中的做法

技术分享

技术分享

Flume在企业大数据仓库架构中位置及功能

原文:http://www.cnblogs.com/raymoc/p/5343568.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!