数据采集：采用Flume收集日志，采用Sqoop将RDBMS以及NoSQL中的数据同步到HDFS上
消息系统：可以加入Kafka防止数据丢失
实时计算：实时计算使用Spark Streaming消费Kafka中收集的日志数据，实时计算结果大多保存在Redis中
机器学习：使用了Spark MLlib提供的机器学习算法
多维分析OLAP：使用Kylin作为OLAP引擎
数据可视化：提供可视化前端页面，方便运营等非开发人员直接查询
原文：https://www.cnblogs.com/chengjianxiaoxue/p/10219055.html