Hadoop基础及演练 学习笔记

第一章 初始Hadoop

• Hadoop可以用来做什么:搭建大型数据仓库,PB级数据的存储,处理,分析,统计等业务
• 优势:高扩展,低成本,成熟的生态圈
• 核心是HDFS(Hadoop分布式文件系统)和MapReduce
• 拥有HIVE(用SQL语句实现Hadoop任务,降低使用门槛),HBASE(存储结构化数据的分布式数据库),zookeeper(监控Hadoop集群状态)

第1章 初识大数据

• 大数据是一个概念也是一门技术,是在以Hadoop为代表的大数据平台框架上进行各种数据分析的技术.

第2章 Hadoop核心HDFS

• Hadoop是一个开源的大数据框架,是一个分布式计算的解决方案,Hadoop=HDFS(分布式文件系统)+MapReduce(分布式计算)
• 存储是大数据技术的基础,分布式计算是大数据应用的解决方案
• HDFS基础架构:

1. 数据块:是抽象块,默认大小为64MB,一般设置为128MB,备份3个.
2. NameNode:主数据块,管理文件系统的命名空间,存放文件元数据,维护文件系统的所有文件和目录,文件与数据块的映射,记录每个文件各个块所在数据节点的信息
3. DataNode:从数据块,存储并检索数据块,向NameNode更新所存储块的列表

• HDFS优点:

1. 适合大文件存储,并有副本策略
2. 可以构建在廉价的机器上,并有一定的容错和恢复机制
3. 支持流式数据访问,一次写入,多次读取最高效

• HDFS缺点:

1. 不适合大量小文件存储
2. 不适合并发写入,不支持文件随机修改
3. 不支持随机读等低延时的访问方式

• 数据块的大小多少合适:
• NameNode如果挂了怎么办:

Hadoop基础及演练 学习笔记

原文：https://www.cnblogs.com/limitlessun/p/9416404.html