Gobblin :https://github.com/linkedin/gobblin Hadoop通用数据摄取框架
Gobblin 是 Hadoop 通用数据摄取框架,可以从各种数据源中提取,转换和加载海量数据。比如:数据库,rest APIs,filers,等等。Gobblin 处理日常规划任务需要所有数据摄取 ETLs,包括作业/任务规划,任务分配,错误处理,状态管理,数据质量检测,数据发布等等。
-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Apache Ambari :https://github.com/apache/ambari 一个基于Web的Apache Hadoop集群的供应、管理和监控工具
Apache Ambari 是一个基于 Web 的 Apache Hadoop 集群的供应、管理和监控。Ambari目前已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。
-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Apache Kylin :http://kylin.apache.org/cn/ 基于Hadoop的分布式SQL分析引擎 “以空间换取时间的方式加速数据查询”
Apache Kylin?是一个开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Apache Phoenix:http://phoenix.apache.org/ | https://github.com/apache/phoenix HBase针对低延时应用程序的高性能关系数据库层
Apache Phoenix 是 HBase 的 SQL 驱动。Phoenix 使得 HBase 支持通过 JDBC 的方式进行访问,并将你的 SQL 查询转成 HBase 的扫描和相应的动作。
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Presto :http://prestodb-china.com/ 大数据查询引擎 “查询HBase性能最好的SQL引擎”
Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节。据称该引擎的性能是 Hive 的 10 倍以上。
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Impala :http://impala.apache.org/ | https://github.com/cloudera/Impala 基于Hadoop的实时查询引擎
Impala是Cloudera公司主导开发的新型查询系统,它提供SQL语义,能查询存储在Hadoop的HDFS和HBase中的PB级大数据。多款产品实测表明,比原来基于MapReduce的Hive SQL查询速度提升3~90倍。
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Alluxio :http://www.alluxio.org/ “分布式内存文件系统”
Alluxio 原名 tachyon。Alluxio 是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,类似Spark和 MapReduce。通过利用lineage信息,积极地使用内存,Alluxio的吞吐量要比HDFS高300多倍。Alluxio都是在内存中处理缓存文件,并且让不同的 Jobs/Queries以及框架都能内存的速度来访问缓存文件。
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
原文:http://www.cnblogs.com/fesh/p/6365593.html