大数据开发参考资料

参考链接出处：https://www.cnblogs.com/Thomas-blog/p/9728179.html

相关PDF电子版：

链接：https://pan.baidu.com/s/1X_e4koNHs43tdUsF0Kd0Bg
提取码：7a3l
复制这段内容后打开百度网盘手机App，操作更方便哦

一、大数据开发工程师技能图

必须掌握的技能11条

1. Java高级(虚拟机、并发)
2. Linux 基本操作
3. Hadoop（HDFS+MapReduce+Yarn ）
4. HBase（JavaAPI操作+Phoenix ）
5. Hive(Hql基本操作和原理理解）
6. Kafka
7. Storm/JStorm
8. Scala
9. Python
10. Spark (Core+sparksql+Spark streaming ）
11. 辅助小工具(Sqoop/Flume/Oozie/Hue等)

高阶技能6条

1. 机器学习算法以及mahout库加MLlib
2. R语言
3. Lambda 架构
4. Kappa架构
5. Kylin
6. Alluxio

二、参考资料

1）Java 高级学习（《深入理解Java虚拟机》、《Java高并发实战》）—30小时

2）Zookeeper学习（可以参照这篇博客进行学习：http://www.cnblogs.com/wuxl360/p/5817471.html）

1. Zookeeper分布式协调服务介绍。
2. Zookeeper集群的安装部署。
3. Zookeeper数据结构、命令。
4. Zookeeper的原理以及选举机制。

官网：http://zookeeper.apache.org/

第二阶段（攻坚阶段）

4）Hadoop （《Hadoop 权威指南》）—80小时

1. HDFS

• HDFS的概念和特性。
• HDFS的shell操作。
• HDFS的工作机制。
• HDFS的Java应用开发。

8）Spark （《Spark 权威指南》）—60小时

第三阶段（辅助工具工学习阶段）

Sqoop（CSDN，51CTO ，以及官网）—20小时

1. 数据导出概念介绍
2. Sqoop基础知识
3. Sqoop原理及配置说明
4. Sqoop数据导入实战
5. Sqoop数据导出实战、
6. Sqoop批量作业操作

推荐学习博客：http://student-lp.iteye.com/blog/2157983
官网：http://sqoop.apache.org/

2）Flume（CSDN，51CTO ，以及官网）—20小时

1. FLUME日志采集框架介绍。
2. FLUME工作机制。
3. FLUME核心组件。
4. FLUME参数配置说明。
5. FLUME采集nginx日志案例（案例一定要实践一下）

推荐学习博客：http://www.aboutyun.com/thread-8917-1-1.html
官网：http://flume.apache.org

Oozie（CSDN，51CTO ，以及官网）–20小时

1. 务调度系统概念介绍。
2. 常用任务调度工具比较。
3. Oozie介绍。
4. Oozie核心概念。
5. Oozie的配置说明。
6. Oozie实现mapreduce/hive等任务调度实战案例。

推荐学习博客：http://www.infoq.com/cn/articles/introductionOozie
官网：http://oozie.apache.org/

14）Hue（CSDN，51CTO ，以及官网）–20小时

推荐学习博客：http://ju.outofmemory.cn/entry/105162
官网：http://gethue.com/

学习资源网站推荐

1. Apache 官网（http://apache.org/）
2. Stackoverflow（https://stackoverflow.com/）
3. Github(https://github.com/)
4. Cloudra官网(https://www.cloudera.com/)
5. Databrick官网(https://databricks.com/)
6. About 云 ：http://www.aboutyun.com/
7. CSDN，51CTO （http://www.csdn.net/，http://www.51cto.com/）

大数据开发参考资料

原文：https://www.cnblogs.com/jiejunwang/p/11895640.html