NoSQL = Not Only SQL,非关系型的数据库。
高性能键值对数据库。
如何在Linux(Centos环境)下安装、启动和关闭Redis
开发工具:IDEA。 新建Maven项目。
<dependency>
<groupId>redis.clients</groupId>
<artifactId>jedis</artifactId>
<version>2.9.0</version>
</dependency>
<!--后面用到了@Test注解,所以这里引入junit依赖-->
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.12</version>
<scope>compile</scope>
</dependency>
@Test
public void demo1(){
//1.设置IP地址和端口
Jedis jedis = new Jedis("10.3.11.185",6379);
//2.保存数据
jedis.set("name","imooca");
//3.获取数据
String value = jedis.get("name");
System.out.println(value);
//4.释放资源
jedis.close();
}
@Test
//以连接池方式连接
public void demo2(){
//获得连接池的配置对象
JedisPoolConfig config = new JedisPoolConfig();
//设置最大连接数
config.setMaxTotal(30);
//设置最大的空闲连接数
config.setMaxIdle((10));
//获得连接池
JedisPool jedisPool = new JedisPool(config,"10.3.11.185",6379);
//获得核心对象
Jedis jedis = null;
try {
//通过连接池获得连接
jedis = jedisPool.getResource();
//设置数据
jedis.set("name","张三");
//获取数据
String value = jedis.get("name");
System.out.println(value);
}catch (Exception e){
e.printStackTrace();
}finally {
//释放资源
if(jedis != null){
jedis.close();
}
if(jedisPool != null){
jedisPool.close();
}
}
}
五种数据类型:
Redis是高性能键值对(key-value)数据库.
# ./bin/redis-cli
开启Redis客户端,进入命令行输入模式。set key value
del key
get key
incr key
, decr key
map
容器hset key field value
, hmset key field1 value1 [field2 value2]
hget key field
, hmget key field1 [field2]
, hgetall key
hdel key field1 [field2]
, del key
hincrby key field increment
, hincrbyfloat key field increment
hlen key
, hkeys key
lpush key value1 [value2]
, rpush key value1 [value2]
, lpushx key value
, rpushx key value
lpop key
, rpop key
, lrem key count value
lrange key start stop
llen key
rpoplpush source destination
更多请参考(https://www.runoob.com/redis/redis-lists.html)。例如:list1是生产消费队列,list2常用于备份数据。解决的问题:consumer pop之后,还没处理完就挂了。解决办法:consumer pop之后先放到list2,处理完再从list2删掉。
sadd key member1 [member2]
, spop key
, srem key member1 [member2]
scard key
, smembers key
, srandmember key [count]
sdiff key1 [key2]
, sdiffstore destination key1 [key2]
,sinter key1 [key2]
, sinterstore destination key1 [key2]
sunion key1 [key2]
, sunionstore destination key1 [key2]
sismember key member
, smove source destination member
, sscan key cursor [MATCH pattern] [COUNT count]
更多请参考(https://www.runoob.com/redis/redis-sets.html).
zadd key score1 member1 [score2 member2]
,zrem key member [member...]
, zremrangebylex key min max
, zremrangebyrank key start stop
, zremrangebyscore key start stop
zcard key
, zrevrange key start stop[withscores]
zcount key min max
,zscore key member
, zrevrank key member
, zrank ket member
详细请参考(https://www.runoob.com/redis/redis-sorted-sets.html)。
keys *
查询所有Keykeys my?
查询以my开头的Keydel my1 my2 my3
删除my1 my2 my3exists my1
查看Key是否存在rename key1 key2
重命名key1为key2expire key1 1000
为KEY设置过期时间更多命令请查看(https://www.runoob.com/redis/redis-keys.html).
多数据库:最多支持16个数据库,下标从0-15,默认为0号库。
Redis事务
事务中,所有命令都会串行执行,事务执行期间,redis不会为其它的客户端提供服务,从而保证命令原子化执行。单个Redis命令的执行是原子性的,但Redis没有在事务上增加任何维持原子性的机制,因此Redis事务的执行并不是原子性的。
事务可以理解为一个打包的批量执行脚本,但批量执行脚本并非原子化的操作,中间某条指令的失败并不会导致前面已做的指令的回滚,也不会造成后续的指令不做。
Redis事务的命令:
与RDB相比,AOF的实时性更好,因此已经成为主流的持久化方案。
RDB持久化的触发分为手动触发和自动触发两种。
(1)手动触发
save命令和bgsave命令都可以生成RDB文件。
save命令会阻塞Redis服务器进程,直到RDB文件创建完毕为止,在Redis服务器阻塞期间,服务器不能处理任何命令请求。
而bgsave命令会创建一个子进程,由子进程来负责创建RDB文件,父进程(即Redis主进程)则继续处理请求。
此时服务器执行日志如下:
bgsave命令执行过程中,只有fork子进程时会阻塞服务器,而对于save命令,整个过程都会阻塞服务器,因此save已基本被废弃,线上环境要杜绝save的使用;后文中也将只介绍bgsave命令。此外,在自动触发RDB持久化时,Redis也会选择bgsave而不是save来进行持久化;下面介绍自动触发RDB持久化的条件。
(2)自动触发
save m n
自动触发最常见的情况是在配置文件中通过save m n
,指定当m秒内发生n次变化时,会触发bgsave。
例如,查看redis的默认配置文件(Linux下为redis根目录下的redis.conf),可以看到如下配置信息:
其中save 900 1
的含义是:当时间到900秒时,如果redis数据发生了至少1次变化,则执行bgsave;save 300 10
和save 60 10000
同理。当三个save条件满足任意一个时,都会引起bgsave的调用。
save m n的实现原理:
Redis的save m n,是通过serverCron
函数、dirty
计数器、和lastsave
时间戳来实现的。
serverCron
是Redis服务器的周期性操作函数,默认每隔100ms执行一次;该函数对服务器的状态进行维护,其中一项工作就是检查 save m n
配置的条件是否满足,如果满足就执行bgsave。
dirty计数器是Redis服务器维持的一个状态,记录了上一次执行bgsave/save
命令后,服务器状态进行了多少次修改(包括增删改);而当save/bgsave
执行完成后,会将dirty
重新置为0。
例如,如果Redis执行了set mykey helloworld
,则dirty值会+1;如果执行了sadd myset v1 v2 v3
,则dirty值会+3;注意dirty记录的是服务器进行了多少次修改,而不是客户端执行了多少修改数据的命令。
lastsave时间戳也是Redis服务器维持的一个状态,记录的是上一次成功执行save/bgsave
的时间。
save m n的原理如下:每隔100ms,执行serverCron函数;在serverCron函数中,遍历save m n配置的保存条件,只要有一个条件满足,就进行bgsave。对于每一个save m n条件,只有下面两条同时满足时才算满足:
(1)当前时间-lastsave > m
(2)dirty >= n
其他自动触发机制:
除了save m n 以外,还有一些其他情况会触发bgsave:
前面介绍了触发bgsave的条件,下面将说明bgsave命令的执行流程,如下图所示:
图片中的5个步骤所进行的操作如下:
RDB文件是经过压缩的二进制文件,下面介绍关于RDB文件的一些细节。
存储路径
RDB文件的存储路径既可以在启动前配置,也可以通过命令动态设定。
配置:dir配置指定目录,dbfilename指定文件名。默认是Redis根目录下的dump.rdb文件。
动态设定:Redis启动后也可以动态修改RDB存储路径,在磁盘损害或空间不足时非常有用;执行命令为config set dir {newdir}和config set dbfilename {newFileName}。如下所示(Windows环境):
RDB文件格式
RDB文件格式如下图所示(图片来源:《Redis设计与实现》):
其中各个字段的含义说明如下:
压缩
Redis默认采用LZF算法对RDB文件进行压缩。虽然压缩耗时,但是可以大大减小RDB文件的体积,因此压缩默认开启;可以通过命令关闭:
需要注意的是,RDB文件的压缩并不是针对整个文件进行的,而是对数据库中的字符串进行的,且只有在字符串达到一定长度(20字节)时才会进行。
RDB文件的载入工作是在服务器启动时自动执行的,并没有专门的命令。但是由于AOF的优先级更高,因此当AOF开启时,Redis会优先载入AOF文件来恢复数据;只有当AOF关闭时,才会在Redis服务器启动时检测RDB文件,并自动载入。服务器载入RDB文件期间处于阻塞状态,直到载入完成为止。
Redis启动日志中可以看到自动载入的执行:
Redis载入RDB文件时,会对RDB文件进行校验,如果文件损坏,则日志中会打印错误,Redis启动失败。
下面是RDB常用的配置项,以及默认值;前面介绍过的这里不再详细介绍。
save m n
:bgsave自动触发的条件;如果没有save m n配置,相当于自动的RDB持久化关闭,不过此时仍可以通过其他方式触发stop-writes-on-bgsave-error yes
:当bgsave出现错误时,Redis是否停止执行写命令;设置为yes,则当硬盘出现问题时,可以及时发现,避免数据的大量丢失;设置为no,则Redis无视bgsave的错误继续执行写命令,当对Redis服务器的系统(尤其是硬盘)使用了监控时,该选项考虑设置为nordbcompression yes
:是否开启RDB文件压缩rdbchecksum yes
:是否开启RDB文件的校验,在写入文件和读取文件时都起作用;关闭checksum在写入文件和启动文件时大约能带来10%的性能提升,但是数据损坏时无法发现dbfilename dump.rdb
:RDB文件名dir ./
:RDB文件和AOF文件所在目录Redis服务器默认开启RDB,关闭AOF;要开启AOF,需要在配置文件中配置:appendonly yes
由于需要记录Redis的每条写命令,因此AOF不需要触发,下面介绍AOF的执行流程。
AOF的执行流程包括:
(1)命令追加(append)
Redis先将写命令追加到缓冲区,而不是直接写入文件,主要是为了避免每次有写命令都直接写入硬盘,导致硬盘IO成为Redis负载的瓶颈。
命令追加的格式是Redis命令请求的协议格式,它是一种纯文本格式,具有兼容性好、可读性强、容易处理、操作简单避免二次开销等优点;具体格式略。在AOF文件中,除了用于指定数据库的select命令(如select 0 为选中0号数据库)是由Redis添加的,其他都是客户端发送来的写命令。
(2)文件写入(write)和文件同步(sync)
Redis提供了多种AOF缓存区的同步文件策略,策略涉及到操作系统的write函数和fsync函数,说明如下:
为了提高文件写入效率,在现代操作系统中,当用户调用write函数将数据写入文件时,操作系统通常会将数据暂存到一个内存缓冲区里,当缓冲区被填满或超过了指定时限后,才真正将缓冲区的数据写入到硬盘里。这样的操作虽然提高了效率,但也带来了安全问题:如果计算机停机,内存缓冲区中的数据会丢失;因此系统同时提供了fsync、fdatasync等同步函数,可以强制操作系统立刻将缓冲区中的数据写入到硬盘里,从而确保数据的安全性。
AOF缓存区的同步文件策略由参数appendfsync控制,各个值的含义如下:
(3)文件重写(rewrite)
随着时间流逝,Redis服务器执行的写命令越来越多,AOF文件也会越来越大;过大的AOF文件不仅会影响服务器的正常运行,也会导致数据恢复需要的时间过长。
文件重写是指定期重写AOF文件,减小AOF文件的体积。需要注意的是,AOF重写是把Redis进程内的数据转化为写命令,同步到新的AOF文件;不会对旧的AOF文件进行任何读取、写入操作!
关于文件重写需要注意的另一点是:对于AOF持久化来说,文件重写虽然是强烈推荐的,但并不是必须的;即使没有文件重写,数据也可以被持久化并在Redis启动的时候导入;因此在一些实现中,会关闭自动的文件重写,然后通过定时任务在每天的某一时刻定时执行。
文件重写之所以能够压缩AOF文件,原因在于:
set mykey v1, set mykey v2
)、有些数据被删除了(sadd myset v1, del myset
)等等sadd myset v1
, sadd myset v2
, sadd myset v3
可以合并为sadd myset v1 v2 v3
。不过为了防止单条命令过大造成客户端缓冲区溢出,对于list、set、hash、zset类型的key,并不一定只使用一条命令;而是以某个常量为界将命令拆分为多条。这个常量在redis.h/REDIS_AOF_REWRITE_ITEMS_PER_CMD
中定义,不可更改,3.0版本中值是64。通过上述内容可以看出,由于重写后AOF执行的命令减少了,文件重写既可以减少文件占用的空间,也可以加快恢复速度。
文件重写的触发
文件重写的触发,分为手动触发和自动触发:
手动触发:直接调用bgrewriteaof命令,该命令的执行与bgsave有些类似:都是fork子进程进行具体的工作,且都只有在fork时阻塞。
此时服务器执行日志如下:
自动触发:根据auto-aof-rewrite-min-size和auto-aof-rewrite-percentage参数,以及aof_current_size和aof_base_size状态确定触发时机。
auto-aof-rewrite-min-size
:执行AOF重写时,文件的最小体积,默认值为64MB。auto-aof-rewrite-percentage
:执行AOF重写时,当前AOF大小(即aof_current_size)和上一次重写时AOF大小(aof_base_size)的比值。config get
命令查看:状态可以通过info persistence查看:
只有当auto-aof-rewrite-min-size
和auto-aof-rewrite-percentage
两个参数同时满足时,才会自动触发AOF重写,即bgrewriteaof
操作。
自动触发bgrewriteaof时,可以看到服务器日志如下:
文件重写的流程
文件重写流程如下图所示(图片来源:http://www.cnblogs.com/yangmingxianshen/p/8373205.html):
关于文件重写的流程,有两点需要特别注意:(1)重写由父进程fork子进程进行;(2)重写期间Redis执行的写命令,需要追加到新的AOF文件中,为此Redis引入了aof_rewrite_buf
缓存。
对照上图,文件重写的流程如下:
3.1. 父进程fork后,bgrewriteaof命令返回”Background append only file rewrite started”信息并不再阻塞父进程,并可以响应其他命令。Redis的所有写命令依然写入AOF缓冲区,并根据appendfsync策略同步到硬盘,保证原有AOF机制的正确。
3.2. 由于fork操作使用写时复制技术,子进程只能共享fork操作时的内存数据。由于父进程依然在响应命令,因此Redis使用AOF重写缓冲区(图中的aof_rewrite_buf
)保存这部分数据,防止新AOF文件生成期间丢失这部分数据。也就是说,bgrewriteaof
执行期间,Redis的写命令同时追加到aof_buf
和aof_rewirte_buf
两个缓冲区。
4. 子进程根据内存快照,按照命令合并规则写入到新的AOF文件。
5.
5.1. 子进程写完新的AOF文件后,向父进程发信号,父进程更新统计信息,具体可以通过info persistence查看。
5.2. 父进程把AOF重写缓冲区的数据写入到新的AOF文件,这样就保证了新AOF文件所保存的数据库状态和服务器当前状态一致。
5.3. 使用新的AOF文件替换老文件,完成AOF重写。
前面提到过,当AOF开启时,Redis启动时会优先载入AOF文件来恢复数据;只有当AOF关闭时,才会载入RDB文件恢复数据。
当AOF开启,且AOF文件存在时,Redis启动日志:
当AOF开启,但AOF文件不存在时,即使RDB文件存在也不会加载(更早的一些版本可能会加载,但3.0不会),Redis启动日志如下:
文件校验
与载入RDB文件类似,Redis载入AOF文件时,会对AOF文件进行校验,如果文件损坏,则日志中会打印错误,Redis启动失败。但如果是AOF文件结尾不完整(机器突然宕机等容易导致文件尾部不完整),且aof-load-truncated参数开启,则日志中会输出警告,Redis忽略掉AOF文件的尾部,启动成功。aof-load-truncated参数默认是开启的:
伪客户端
因为Redis的命令只能在客户端上下文中执行,而载入AOF文件时命令是直接从文件中读取的,并不是由客户端发送;因此Redis服务器在载入AOF文件之前,会创建一个没有网络连接的客户端,之后用它来执行AOF文件中的命令,命令执行的效果与带网络连接的客户端完全一样。
下面是AOF常用的配置项,以及默认值;前面介绍过的这里不再详细介绍。
appendonly no
:是否开启AOFappendfilename "appendonly.aof"
:AOF文件名dir ./
:RDB文件和AOF文件所在目录appendfsync everysec
:fsync持久化策略no-appendfsync-on-rewrite no
:AOF重写期间是否禁止fsync;如果开启该选项,可以减轻文件重写时CPU和硬盘的负载(尤其是硬盘),但是可能会丢失AOF重写期间的数据;需要在负载和安全性之间进行平衡auto-aof-rewrite-percentage 100
:文件重写触发条件之一auto-aof-rewrite-min-size 64mb
:文件重写触发提交之一aof-load-truncated yes
:如果AOF文件结尾损坏,Redis启动时是否仍载入AOF文件本文讲述了Redis的安装和使用,Jedis的入门,Redis的数据结构及其命令以及Redis的持久化等内容。还有Redis主从复制、哨兵、集群等Redis进阶内容,学完再更。
原文:https://www.cnblogs.com/xiaozhengtongxue/p/13498642.html