大数据学习（03）——HDFS的高可用

高可用架构图

先上一张搜索来的图。

如上图，HDFS的高可用其实就是NameNode的高可用。

上一篇里，SecondaryNameNode是NameNode单节点部署才会有的角色，它只帮助NameNode完成日志合并的工作，在NameNode出现问题时不能顶上去。

在高可用里，不再有SecondaryNameNode这个角色，Hadoop2.x版本支持NameNode的一主一从，3.x版本支持一主多从，由从NameNode完成日志合并任务。

总结一下，在一个高可用的HDFS集群里，至少需要这么几个角色：

• DataNode，存数据的节点，没它就不能叫文件系统了
• NameNode，有两个或多个，主节点状态是Active，从节点状态是Standby，从节点来同步、合并主节点的日志
• 共享存储，存放的是主节点的日志，从节点从共享存储里异步同步日志，官方有QJM和NFS两种实现

为了实现NameNode的自动切换，还需要这两个角色：

• Zookeeper，分布式协调器，NameNode选主用的
• ZKFS，Zookeeper客户端，监控NameNode状态，并与Zookeeper保持长连接，与NameNode在一台机器上部署

 高可用原理

未完待续

大数据学习（03）——HDFS的高可用

原文：https://www.cnblogs.com/burningblade/p/13349079.html