首页 > 其他 > 详细

大数据工具

时间:2017-02-04 16:40:40      阅读:163      评论:0      收藏:0      [点我收藏+]

 

           Gobblin :https://github.com/linkedin/gobblin   Hadoop通用数据摄取框架 

       Gobblin 是 Hadoop 通用数据摄取框架,可以从各种数据源中提取,转换和加载海量数据。比如:数据库,rest APIs,filers,等等。Gobblin 处理日常规划任务需要所有数据摄取 ETLs,包括作业/任务规划,任务分配,错误处理,状态管理,数据质量检测,数据发布等等。

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Apache Ambari :https://github.com/apache/ambari  一个基于Web的Apache Hadoop集群的供应、管理和监控工具

    Apache Ambari 是一个基于 Web 的 Apache Hadoop 集群的供应、管理和监控。Ambari目前已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Apache Kylin    :http://kylin.apache.org/cn/   基于Hadoop的分布式SQL分析引擎 “以空间换取时间的方式加速数据查询”

      Apache Kylin?是一个开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。

--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Apache Phoenix:http://phoenix.apache.org/ | https://github.com/apache/phoenix  HBase针对低延时应用程序的高性能关系数据库层

        Apache Phoenix 是 HBase 的 SQL 驱动。Phoenix 使得 HBase 支持通过 JDBC 的方式进行访问,并将你的 SQL 查询转成 HBase 的扫描和相应的动作。

----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

  Presto   :http://prestodb-china.com/  大数据查询引擎 “查询HBase性能最好的SQL引擎”

        Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节。据称该引擎的性能是 Hive 的 10 倍以上。

-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

  Impala     :http://impala.apache.org/ |  https://github.com/cloudera/Impala  基于Hadoop的实时查询引擎

        Impala是Cloudera公司主导开发的新型查询系统,它提供SQL语义,能查询存储在Hadoop的HDFS和HBase中的PB级大数据。多款产品实测表明,比原来基于MapReduce的Hive SQL查询速度提升3~90倍。

 -----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

  Alluxio    :http://www.alluxio.org/ “分布式内存文件系统”

      Alluxio 原名 tachyon。Alluxio 是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,类似Spark和 MapReduce。通过利用lineage信息,积极地使用内存,Alluxio的吞吐量要比HDFS高300多倍。Alluxio都是在内存中处理缓存文件,并且让不同的 Jobs/Queries以及框架都能内存的速度来访问缓存文件。

-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

大数据工具

原文:http://www.cnblogs.com/fesh/p/6365593.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!