首页 > 其他 > 详细

大数据数据仓库-概念

时间:2015-10-19 02:13:40      阅读:329      评论:0      收藏:0      [点我收藏+]

大数据数据仓库—概念?

2015-10-18?朱洁?hadoop技术学习

bubuko.com,布布扣
?

?

?

大数据经过反复炒作之后,慢慢的降温下来。大家不再大谈几个v了,落地到企业会发现,大部分场景还是传统的数据仓库的替换。今天梳理下数据仓库的使用场景,以及需要的技术。

?

1,先谈下数据仓库准确的概念是什么?

数据仓库 ,由数据仓库之父比尔·恩门(Bill Inmon)于1990年提出,主要功能仍是将组织透过资讯系统之联机事务处理(OLTP)经年累月所累积的大量资料,透过数据仓库理论所特有的资料储存架构,作一有系统的分析整理,以利各种分析方法如联机分析处理(OLAP)、数据挖掘(Data Mining)之进行,并进而支持如决策支持系统(DSS)、主管资讯系统(EIS)之创建,帮助决策者能快速有效的自大量资料中,分析出有价值的资讯,以利决策拟定及快速回应外在环境变动,帮助建构商业智能(BI)。

数据仓库之父比尔·恩门(Bill Inmon)在1991年出版的“Building the Data Warehouse”(《建立数据仓库》)一书中所提出的定义被广泛接受——数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策(Decision Making Support)。

?

2,大数据技术相比传统的数据仓库有什么优势?

搞来搞去,又回到了传统的数据仓库吗?事实上,大部分企业的应用传统数据仓库支持就非常好。

相比传统的数据仓库,大数据技术在几个方面有优势:1)支持非结构化数据,传统数据仓库,基于关系理论构建,只支持结构化数据。尤其在互联网行业,非结构化数据是主数据。 2)扩展性上。对于小于100T的结构化数据处理时,往往会发现MPP架构的数据仓库反而性能更高。但是数据仓库有非常明显的扩展瓶颈,目前已知的,最大生产数据仓库节点数据大概是几百个节点。而大数据平台几千台一个集群比比皆是。3)和新的分析方法和算法的结合上。传统数据仓库,还停留在统计,钻取这些传统的BI分析方法。大数据技术衍生出非常多的交互式,BI工具等。

相比传统数据仓库,大数据也有很多劣势:1)小数量下面,比传统的mpp差。大数据量下面,不能满足交互式分析秒级响应的需求。2)对SQL对支持不充分等。所以业界有不少厂商在做这方面的探索,如cloudera的impala,星环的Inceptor,阿里的ads。


本文先介绍数据仓库的基本概念,下一篇介绍大数据数据仓库的应用场景。

?
?
bubuko.com,布布扣

微信扫一扫
关注该公众号

大数据数据仓库-概念

原文:http://jiezhu2007.iteye.com/blog/2249889

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!