## # zookeeper的基本功能和应用场景
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。
简单地说 zookeeper可以替用户管理 监听小体量的数据(当数据发生变化是,用户会得到通知),集中管理配置文件,以及容错、负载均衡机制。
## # zookeeper的整体运行机制
ZooKeeper集群安装在奇数台服务器上,集群最少台数应该为3台 最典型集群模式:Master/Slave 模式(主备模式)。在这种模式中,通常 Master 服务器作为主服务器提供写服务,其他的 Slave 服务器从服务器通过异步复制的方式获取 Master 服务器最新的数据提供读服务。但是,在 ZooKeeper 中没有选择传统的 Master/Slave 概念,而是引入了Leader、Follower 和 Observer 三种角色。在ZooKeeper集群启动时选举出Leader、Follower 和 Observer 三种角色
但是,在 ZooKeeper 中没有选择传统的 Master/Slave 概念,而是引入了Leader、Follower 和 Observer 三种角色
选举投票过程(以三台服务器为例):
- 第一台zk进程启动,会向局域网进行组播投票,投自己
- 第二台zk进程启动,会向局域网进行组播投票,投自己(id最大)
- 1和2两个zk进程各自得一票,那就继续投票
- 1在这一轮会投票给2,而2会投给自己 此时2得2票顺利当选为leader,1自动切换follower
- 第三台启动zk进程 上线发现已经有leader 自动切换到follower
## # zookeeper的数据存储机制
数据存储形式
zookeeper中对用户的数据采用kv形式存储 只是zk有点特别: key:是以路径的形式表示的,那就以为着,各key之间有父子关系,比如 / 是顶层key,用户建的key只能在/下作为子节点,比如建一个key: /aa,这个key可以带value数据. zookeeper中,对每一个数据key,称作一个znode 综上所述,zk中的数据存储形式如下:
znode类型
zookeeper中的znode有多种类型:
1.PERSISTENT 持久的:创建者就算跟集群断开联系,该类节点也会持久存在与zk集群中
2.EPHEMERAL 短暂的:创建者一旦跟集群断开联系,zk就会将这个节点删除
3.SEQUENTIAL 带序号的:这类节点,zk会自动拼接上一个序号,而且序号是递增的
组合类型: PERSISTENT :持久不带序号 EPHEMERAL :短暂不带序号 PERSISTENT 且 SEQUENTIAL :持久且带序号 EPHEMERAL 且 SEQUENTIAL :短暂且带序号
####数据管理功能: 创建节点: create /aaa ‘ppppp‘ 查看节点下的子节点: ls /aaa 获取节点的value: get /aaa 修改节点的value: set /aaa ‘mmmmm‘ 删除节点:rmr /aaa
####数据监听功能: ls /aaa watch
查看/aaa的子节点的同时,注册了一个监听“节点的子节点变化事件”的监听器
get /aaa watch 获取/aaa的value的同时,注册了一个监听“节点value变化事件”的监听器
## # zookeeper的安装
安装zookeeper要求: 必须先安装jdk
上传zookeeper安装包,解压
[root@hdp-01 ~]# tar -zxvf zookeeper-3.4.6.tar.gz -C apps/
[root@hdp-01 ~]# cd apps/zookeeper-3.4.6/conf/
官方提供了一份模板配置文件zoo_sample.cfg 启动要求conf目录下加载zoo.cfg文件
[root@hdp-01 conf]# cp zoo_sample.cfg zoo.cfg
配置数据存放目录及集群ip和端口 默认临时目录/tmp下 修改为自己建立的数据目录
[root@hdp-01 conf]# vi zoo.cfg
dataDir=/root/zkdata clientPort=2181 server.1=hdp-01:2888:3888 server.2=hdp-02:2888:3888 server.3=hdp-03:2888:3888
配置文件修改完后,将安装包拷贝给hdp-02 和 hdp-03
scp -r zookeeper-3.4.6/ hdp-02:$PWD
scp -r zookeeper-3.4.6/ hdp-03:$PWD
hdp-01上,新建目录/root/zkdata,并在目录中生成一个文件myid,内容为1
[root@hdp-01 ~]# mkdir zkdata
[root@hdp-01 ~]# echo 1 > zkdata/myid
hdp-02上,新建目录/root/zkdata,并在目录中生成一个文件myid,内容为2
[root@hdp-01 ~]# mkdir zkdata
[root@hdp-01 ~]# echo 2 > zkdata/myid
hdp-03上,新建目录/root/zkdata,并在目录中生成一个文件myid,内容为3
[root@hdp-01 ~]# mkdir zkdata
[root@hdp-01 ~]# echo 3 > zkdata/myid
配置一键启动zookeeper集群:
[root@hdp-01 ~]# vi zkmanage.sh
#!/bin/bash
for host in hdp-01 hdp-02 hdp-03
do
echo "${host}:${1}ing....."
ssh $host "source /etc/profile;/root/apps/zookeeper-3.4.6/bin/zkServer.sh $1"
done
sleep 2
for host in hdp-01 hdp-02 hdp-03
do
ssh $host "source /etc/profile;/root/apps/zookeeper-3.4.6/bin/zkServer.sh status"
done
chmod: 无法访问: 没有那个文件或目录
[root@hdp-01 ~]# chmod 777 ./zkmanage.sh
[root@hdp-01 ~]# ./zkmanage.sh start //一键启动zookeeper集群
启动ok
bin/zkServer.sh status 能看到角色模式:为leader或follower,即正常了。
用jps应该能看到一个进程:QuorumPeerMain
## # zookeeper客户端
连接本机客户端 [root@hdp-01 zookeeper-3.4.6]# ./bin/zkCli.sh
连接集群其他节点客户端 [root@hdp-01 zookeeper-3.4.6]# ./bin/zkCli.sh -server hdp-02:2181
创建节点: create /aaa ‘ppppp‘
查看节点下的子节点: ls /aaa
获取节点的value: get /aaa
修改节点的value: set /aaa ‘mmmmm‘
删除节点:rmr /aaa
ls /aaa watch
查看/aaa的子节点的同时,注册了一个监听节点的子节点变化事件的监听器
get /aaa watch 获取/aaa的value的同时,注册了一个监听节点value变化事件的监听器
[zk: localhost:2181(CONNECTED) 0] get /aaa watch //另起一个客户端修改aaa节点的数据 [zk: localhost:2181(CONNECTED) 10] set /aaa 999
[zk: localhost:2181(CONNECTED) 1] WATCHER:: WatchedEvent state:SyncConnected type:NodeDataChanged path:/aaa
监听到了节点数据发生了变化