首页 > 其他 > 详细

大数据系统基础(自主模式) 2.1大数据和云计算关系概述

时间:2017-02-23 10:51:08      阅读:148      评论:0      收藏:0      [点我收藏+]

技术分享

数量大  做海量的计算和存储

算的速度快  处理速度快

数据产生的地方和数据处理的地方往往不是同一个地方

做一个智能城市的应用  数据产生是在业外。比如说由各个地方,由传感器采集来的,那数据处理是在数据中心里面进行的,如果能把收集到的数据快速传输到数据中心里头,这需要一个很快的广域网的数据传输。所以这个也是由数据量和我们对数据处理速度的要求共同决定的。当然还有一些更不明显的需求,而且大数据这个事情,刚刚起步,具体它会发展成什么样的大家也不是很清楚,所以我们需要一个非常灵活,所以灵活是大数据一个非常重要的特征。大数据,价值密度非常的低,存储很多很多的数据,分析很多很多的数据,实际上它真正有用的只有那一点点。在这种情况下,我们要求大数据系统有一个低成本的特性,否则的话任何企业也不可能负担的起我们用非常昂贵的系统,象我们过去做数据仓库和数据库那种方式做出来的存储系统。我们不可能利用那些系统来处理大数据,因为成本太高了。

技术分享

技术分享

那么如何实现这些需求呢?这是大数据系统设计和很多的分布式系统设计的三个核心的理念。并行化:一个事情一个人干不了,我们把它切成很多个小块分给好多人同时干,这样你干的就快乐。这就是并行化的概念。

规模经济:如果你做一个这个事情,实际上它的成本是很低的,但是如果你规模经济,同时你把它做很多很多,你把规模做大,你把设计成本你把这些个一次投入的成本都摊销到这些个规模上去,这时候你的平均成本就低了,所以这是一个规模经济的概念。

第三个是虚拟化,硬件、软件都是多种多样的,你把这些多种多样的东西放在一起,你不好管理不好调度,我们需要定义一个非常漂亮的接口,然后把那些个非常恶心的具体的实现隐藏在下面,这些给大家一个好看的接口,这样的话方便调度和管理,这就是虚拟化的概念。

这三个其实都是一些非常朴实的观点,因为做计算机的人,为什么叫做IT民工,他就是一些非常朴实的想法,但是这些想法推进到真正的系统中去,我们会发现这个系统设计出来才能够解决这样的问题。

大数据系统的基本的软硬件架构:

当然最基础的硬件,从硬件层来说我们就是计算资源、存储资源,以及把它们用网络连接起来。这是硬件层。

 

大数据系统基础(自主模式) 2.1大数据和云计算关系概述

原文:http://www.cnblogs.com/ZHONGZHENHUA/p/6432008.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!