数据开发相关的经验不是很多，目前已自己对这块工作的理解，先初步整理下。
所谓数据开发是面向数据仓库的开发，所以结合一般数据仓库的架构主要有几个方面的生态内容。
1、数据采集
mysql等关系型数据的搜集
分布式日志搜集（flume、kafka）
2、数据存储
hdfs
3、数据计算（离线、实时）
mr、hive、spark、spark sql
spark streaming 、 storm
4、数据应用
BI系统、数据报表可视化、机器学习
原文：http://www.cnblogs.com/huilei/p/6506038.html