redis集群cluster均匀命中--hash性一致算法--hash slot（转）

目录

　　1、redis cluster介绍

　　2、最老土的hash算法和弊端（大量缓存重建）

　　3、一致性hash算法（自动缓存迁移）+虚拟节点（自动负载均衡）

　　　　不用遍历    --》   hash算法： 缓存位置= hash（key）%n

　　　　新增/减少 节点  --》缓存位置失效--》hash环

　　　　hash环  节点少--》数据倾斜--》添加虚拟节点

　　4、redis cluster的hash slot算法

分布式寻址算法

• hash 算法（大量缓存重建）
• 一致性 hash 算法（自动缓存迁移）+ 虚拟节点（自动负载均衡）
• redis cluster 的 hash slot 算法

1、redis cluster介绍
　redis cluster

　　（1）自动将数据进行分片，每个master上放一部分数据
　　（2）提供内置的高可用支持，部分master不可用时，还是可以继续工作的

　在redis cluster架构下，每个redis要放开两个端口号，比如一个是6379，另外一个就是加10000的端口号，比如16379

　16379端口号是用来进行节点间通信的，也就是cluster bus的东西，集群总线。cluster bus的通信，用来进行故障检测，配置更新，故障转移授权

　cluster bus用了另外一种二进制的协议，主要用于节点间进行高效的数据交换，占用更少的网络带宽和处理时间

2、最老土的hash算法（弊端：大量缓存重建）

　　来了一个 key，首先计算 hash 值，然后对节点数取模。然后打在不同的 master 节点上。一旦某一个 master 节点宕机，所有请求过来，都会基于最新的剩余 master 节点数去取模，尝试去取数据。这会导致大部分的请求过来，全部无法拿到有效的缓存，导致大量的流量涌入数据库。

　　　　　　　　　　　　　　hash算法

3、一致性hash算法（自动缓存迁移）+虚拟节点（自动负载均衡）

　做成一个圆环，解决命中率问题。　

　　一致性 hash 算法将整个 hash 值空间组织成一个虚拟的圆环，整个空间按顺时针方向组织，下一步将各个 master 节点（使用服务器的 ip 或主机名）进行 hash。这样就能确定每个节点在其哈希环上的位置。

　　来了一个 key，首先计算 hash 值，并确定此数据在环上的位置，从此位置沿环顺时针“行走”，遇到的第一个 master 节点就是 key 所在位置。

　　在一致性哈希算法中，如果一个节点挂了，受影响的数据仅仅是此节点到环空间前一个节点（沿着逆时针方向行走遇到的第一个节点）之间的数据，其它不受影响。增加一个节点也同理。

　　然而，一致性哈希算法在节点太少时，容易因为节点分布不均匀而造成缓存热点的问题。为了解决这种热点问题，一致性 hash 算法引入了虚拟节点机制，即对每一个节点计算多个 hash，每个计算结果位置都放置一个虚拟节点。这样就实现了数据的均匀分布，负载均衡。

4、redis cluster的hash slot算法

　　redis cluster 有固定的 16384 个 hash slot，对每个 key 计算 CRC16 值，然后对 16384 取模，可以获取 key 对应的 hash slot。每个节点负责维护一部分槽以及槽所映射的键值数据。

　　redis cluster 中每个 master 都会持有部分 slot，比如有 3 个 master，那么可能每个 master 持有 5000 多个 hash slot。hash slot 让 node 的增加和移除很简单，增加一个 master，就将其他 master 的 hash slot 移动部分过去，减少一个 master，就将它的 hash slot 移动到其他 master 上去。移动 hash slot 的成本是非常低的。客户端的 api，可以对指定的数据，让他们走同一个 hash slot，通过 hash tag 来实现。

 更加生动的方式展示：

　　例如：Redis Cluster 采用虚拟槽分区，所有的键根据哈希函数映射到 0~16383 整数槽内，计算公式：slot = CRC16（key）& 16384。每个节点负责维护一部分槽以及槽所映射的键值数据，如下图所示：

　

举个例子

　　　　　　　　　　　　　　　　　　　　　　　　　　节点分布

如上图
　　当前集群有 5 个节点，每个节点平均大约负责 3276 个槽。由于采用高质量的哈希算法，每个槽所映射的数据通常比较均匀，将数据平均划分到 5 个节点进行数据分区。Redis Cluster 就是采用虚拟槽分区。

　　　　节点1： 包含 0 到 3276 号哈希槽。

　　　　节点2：包含 3277 到 6553 号哈希槽。

　　　　节点3：包含 6554 到 9830 号哈希槽。

　　　　节点4：包含 9831 到 13107 号哈希槽。

　　　　节点5：包含 13108 到 16383 号哈希槽。

　　所以hash slot的好处是可以像磁盘分区一样自由分配槽位，在配置文件里可以指定，也可以让redis自己选择分配，结果均匀。

　　这种结构很容易添加或者删除节点。如果增加一个节点 6，就需要从节点 1 ~ 5 获得部分槽分配到节点 6 上。如果想移除节点 1，需要将节点 1 中的槽移到节点 2 ~ 5 上，然后将没有任何槽的节点 1 从集群中移除即可。

　　由于从一个节点将哈希槽移动到另一个节点并不会停止服务，所以无论添加删除或者改变某个节点的哈希槽的数量都不会造成集群不可用的状态.

　　缓存的key hash结果是和slot绑定的，而不是和服务器节点绑定，所以节点的更替只需要迁移slot即可平滑过渡。

出处链接：

　　https://www.jianshu.com/p/fe7b7800473e

　　https://www.jianshu.com/p/90b3de6288c6

redis集群cluster均匀命中--hash性一致算法--hash slot（转）

原文：https://www.cnblogs.com/myseries/p/10959050.html