大数据框架

系统平台

Hadoop、CDH、HDP 

监控管理

CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle 

文件系统

HDFS、GPFS、Ceph、GlusterFS、Swift 、BeeGFS、Alluxio

资源调度 

YARN、Mesos 

协调框架 

ZooKeeper 、Etcd、Consul 

数据存储 

HBase、Cassandra、ScyllaDB 、MongoDB、Accumulo 、Redis 、Ignite、Arrow 、Geode、                                      CouchDB、Kudu、CarbonData 

数据处理

MapReduce、Spark、Flink、Storm、Tez、Samza、Apex、Beam、Heron

查询分析

 Hive、SparkSQL、Presto、Kylin、Impala、Druid、ElasticSearch、HAWQ、Lucene、Solr、                                  Phoenix 

数据收集

 Flume、Filebeat、Logstash、Chukwa 

数据交换 

Sqoop 、Kettle、DataX 、NiFi

消息系统 

Pulsar、Kafka、RocketMQ、ActiveMQ、RabbitMQ

任务调度

 Azkaban、Oozie、Airflow

数据治理

 Ranger 、Sentry、Atlas

可视化

Kibana 、D3.js、ECharts

数据挖掘 

Mahout 、MADlib 、Spark ML、TensorFlow、Keras

云平台 

Amazon S3、GCP、Microsoft Azure