Redis
redis的内存满了怎么办
在Redis的配置文件redis.conf文件中,配置maxmemory的大小参数如下所示
maxmemory 100mb //一般公司给的内存大小都在3G往上
也可以使用redis的删除过期策略,或者搭集群
redis的删除过期垃圾策略
定时删除
惰性删除
定期删除
Redis启动服务器初始化时,读取配置server.hz的值,默认为10
2. 每秒钟执行server.hz次serverCron() ->databasesCron()->activeExpireCycle()
3. activeExpireCycle()对每个expires[]逐一进行检测,每次执行250ms/server.hz
某个expires[]检测时,随机挑选W个key检测
5. 如果key超时,删除key
6. 如果一轮中删除的key的数量>W25%,循环该过程
7. 如果一轮中删除的key的数量≤W25%,检查下一个expires[],0-15循环
8. W取值=ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP属性值
9. 参数current_db用于记录activeExpireCycle() 进入哪个expires[] 执行
10. 如果activeExpireCycle()执行时间到期,下次从current_db继续向下执行
11. 0-15 ,16个database,循环操作,找出过期的数据,并进行删除
数据淘汰策略
检测易失数据(可能会过期的数据集server.db[i].expires ),redis中的数据,尽量不要存储不过期的数据
13. volatile-lru:挑选最近最少使用的数据淘汰 ,一般采用的策略
14. volatile-lfu:挑选最近使用次数最少的数据淘汰
15. volatile-ttl:挑选将要过期的数据淘汰
16. volatile-random:任意选择数据淘汰
17. 检测全库数据(所有数据集server.db[i].dict )
18. allkeys-lru:挑选最近最少使用的数据淘汰
19. allkeys-lfu:挑选最近使用次数最少的数据淘汰
20. allkeys-random:任意选择数据淘汰
21. 放弃数据驱逐
22. no-enviction(驱逐):禁止驱逐数据(redis4.0中默认策略),会引发错误OOM(Out Of Memory)
缓存穿透
用户一直在频繁的查询缓存和数据库中不存在的数据,导致每次请求都会到达数据库,会给给数据库造成很大的压力
解决:
对某个查询为空的数据,可以将这个空数据缓存到redis,设置30s
加一个布隆过滤器(一定不存在)
缓存击穿
在特定的时间有大量的请求同时访问一条数据,缓存中没有,从而到达数据,压垮数据库
解决:
加一个互斥锁
设置热点数据永不过期
定时更新热点数据
监控访问量,对自然流量激增的数据延长过期时间或设置为永久性key
缓存雪崩
大量的redis同时过期,导致大量的请求到达数据库,压垮数据库,
解决
避免设置相近的有效期,在设置有效期后可以加一个随机值
如何理解redis的单线程
这里需要注意一个问题,我们所说的Redis的单线程,不是指Redis程序真的只会有一个线程。这里所说的单线程,指的是Redis处理客户端发来的数据操作请求(增删改查),只会使用一个线程去执行。但是实际上,Redis在执行其他操作的时候,可能会开启多个进程或线程,比如说持久化。Redis执行BGSAVE指令,进行快照持久化时,就会fork出一个子进程,然后子进程去创建快照,完成持久化操作。
redis为什么使用单线程
redis为什么快
多路复用io阻塞机制
是内存操作数据
非关系型数据库
是单线程,不需要切换线程
数据类型
String:缓存了,计数器,可以共享用户session
list:有序列表,可以存储一些列表型的东西,比如粉丝列表,文章的评论列表,每个人的博客,随着时间的推移,数据量的增大,而且需要分页展示,这时候可以使用redis列表,列表不仅有序,而且还可以获取指定位置的元素
Hash:用的不是很多
Set:分布式去重
zSet:去重可以排序,可以应用在排行榜上
redis集群主从架构
redis集群
1.主从复制
主从复制原理:
从服务器连接主服务器,发送SYNC命令;
主服务器接收到SYNC命名后,开始执行BGSAVE命令生成RDB文件并使用缓冲区记录此后执行的所有写命令;
主服务器BGSAVE执行完后,向所有从服务器发送快照文件,并在发送期间继续记录被执行的写命令;
从服务器收到快照文件后丢弃所有旧数据,载入收到的快照;
主服务器快照发送完毕后开始向从服务器发送缓冲区中的写命令;
从服务器完成对快照的载入,开始接收命令请求,并执行来自主服务器缓冲区的写命令;(从服务器初始化完成)
主服务器每执行一个写命令就会向从服务器发送相同的写命令,从服务器接收并执行收到的写命令(从服务器初始化完成后的操作)
主从复制优缺点:
优点:
支持主从复制,主机会自动将数据同步到从机,可以进行读写分离
为了分载Master的读操作压力,Slave服务器可以为客户端提供只读操作的服务,写服务仍然必须由Master来完成
Slave同样可以接受其它Slaves的连接和同步请求,这样可以有效的分载Master的同步压力。
Master Server是以非阻塞的方式为Slaves提供服务。所以在Master-Slave同步期间,客户端仍然可以提交查询或修改请求。
Slave Server同样是以非阻塞的方式完成数据同步。在同步期间,如果有客户端提交查询请求,Redis则返回同步之前的数据
缺点:
Redis不具备自动容错和恢复功能,主机从机的宕机都会导致前端部分读写请求失败,需要等待机器重启或者手动切换前端的IP才能恢复。
主机宕机,宕机前有部分数据未能及时同步到从机,切换IP后还会引入数据不一致的问题,降低了系统的可用性。
Redis较难支持在线扩容,在集群容量达到上限时在线扩容会变得很复杂。
具体命令
2.哨兵模式
当主服务器中断服务后,可以将一个从服务器升级为主服务器,以便继续提供服务,但是这个过程需要人工手动来操作。 为此,Redis 2.8中提供了哨兵工具来实现自动化的系统监控和故障恢复功能。
哨兵的作用就是监控Redis系统的运行状况。它的功能包括以下两个。
(1)监控主服务器和从服务器是否正常运行。
(2)主服务器出现故障时自动将从服务器转换为主服务器。
哨兵的工作方式:
每个Sentinel(哨兵)进程以每秒钟一次的频率向整个集群中的Master主服务器,Slave从服务器以及其他Sentinel(哨兵)进程发送一个 PING 命令。
如果一个实例(instance)距离最后一次有效回复 PING 命令的时间超过 down-after-milliseconds 选项所指定的值, 则这个实例会被 Sentinel(哨兵)进程标记为主观下线(SDOWN)
如果一个Master主服务器被标记为主观下线(SDOWN),则正在监视这个Master主服务器的所有 Sentinel(哨兵)进程要以每秒一次的频率确认Master主服务器的确进入了主观下线状态
当有足够数量的 Sentinel(哨兵)进程(大于等于配置文件指定的值)在指定的时间范围内确认Master主服务器进入了主观下线状态(SDOWN), 则Master主服务器会被标记为客观下线(ODOWN)
在一般情况下, 每个 Sentinel(哨兵)进程会以每 10 秒一次的频率向集群中的所有Master主服务器、Slave从服务器发送 INFO 命令。
当Master主服务器被 Sentinel(哨兵)进程标记为客观下线(ODOWN)时,Sentinel(哨兵)进程向下线的 Master主服务器的所有 Slave从服务器发送 INFO 命令的频率会从 10 秒一次改为每秒一次。
若没有足够数量的 Sentinel(哨兵)进程同意 Master主服务器下线, Master主服务器的客观下线状态就会被移除。若 Master主服务器重新向 Sentinel(哨兵)进程发送 PING 命令返回有效回复,Master主服务器的主观下线状态就会被移除。
哨兵模式的优缺点
优点:
哨兵模式是基于主从模式的,所有主从的优点,哨兵模式都具有。
主从可以自动切换,系统更健壮,可用性更高。
缺点:
Redis较难支持在线扩容,在集群容量达到上限时在线扩容会变得很复杂。
3.Redis-Cluster集群
redis的哨兵模式基本已经可以实现高可用,读写分离 ,但是在这种模式下每台redis服务器都存储相同的数据,很浪费内存,所以在redis3.0上加入了cluster模式,实现的redis的分布式存储,也就是说每台redis节点上存储不同的内容。
他会将按照主的数量分配16383个插槽
Redis-Cluster采用无中心结构,它的特点如下:
所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽。
节点的fail是通过集群中超过半数的节点检测失效时才生效。
客户端与redis节点直连,不需要中间代理层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可。
工作方式:
在redis的每一个节点上,都有这么两个东西,一个是插槽(slot),它的的取值范围是:0-16383。还有一个就是cluster,可以理解为是一个集群管理的插件。当我们的存取的key到达的时候,redis会根据crc16%16384的算法得出一个结果,然后把结果对 16384 求余数,这样每个 key 都会对应一个编号在 0-16383 之间的哈希槽,通过这个值,去找到对应的插槽所对应的节点,然后直接自动跳转到这个对应的节点上进行存取操作。
为了保证高可用,redis-cluster集群引入了主从模式,一个主节点对应一个或者多个从节点,当主节点宕机的时候,就会启用从节点。当其它主节点ping一个主节点A时,如果半数以上的主节点与A通信超时,那么认为主节点A宕机了。如果主节点A和它的从节点A1都宕机了,那么该集群就无法再提供服务了。
集群的联系方式
各个数据库相互通信,保存各个库中槽的编号数据
一次命中,直接返回
一次未命中,告知具体位置
缓存数据库双写保持一致
集群
Redis-Cluster
原文:https://www.cnblogs.com/luomua/p/14389979.html