Redis学习

Redis

一、NoSQL概述

NoSQL（NoSQL = Not Only SQL），意即“不仅仅是SQL”，泛指非关系型数据库，NoSQL可以解决大规模集合多重数据集合多重数据种类带来的挑战，尤其是大数据应用难题，包括超大规模数据的存储，很多类型的数据存储不需要固定的模式，无需多余操作就可以横向扩展。

NoSQL数据库种类繁多，但是一个共同的特点都是去掉关系数据库的关系型特性。数据之间无关系，这样就非常容易扩展。也无形之间，在架构的层面上带来了可扩展的能力。

NoSQL数据库都具有非常高的读写性能，尤其是在大数据量下，很优秀。且NoSQL的Cache是记录级的，是一种细粒度的Cache，所以NoSQL在这个层面上来说就要性能高很多了。

NoSQL无需事先为要存储的数据建立字段，随时可以存储自定义的数据格式。而在关系数据库里，增删字段很麻烦。

3V+3高：

大数据时代的3V：海量Volume、多样Variety、实时Velocity

互联网需求的3高：高并发、高扩展、高性能

NoSQL数据模型简介：聚合模型：KV键值、Bson、列族、图形

NoSQL四大分类：

• KV键值

  • 新浪：BerkeleyDB + redis
  • 美团：redis + tair
  • 阿里、百度：memcache + redis

• 文档型数据库

  • CouchDB

  • MongoDB

    MongoDB是一个基于分布式文件存储的数据库。由C++编写，旨在为WEB应用提供可扩展的高性能数据存储解决方案

    MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系型数据库当中功能最丰富，最像关系数据库的。

• 列存储数据库

  • Cassandra、Hbase
  • 分布式文件系统

• 图关系数据库

  • 不放图形，放的是关系
  • 专注于构建关系图谱
  • Neo4J，InfoGrid

• 四者对比

分布式数据库中CAP原理：

传统的ACID：

• A（Atomicity）原子性
• C（Consistency）一致性
• I（Isolation）独立性
• D（Durability）持久性

CAP：

• C：Consistency（强一致性）
• A：Availability（可用性）
• P：Partition tolerance（分区容错性）

CAP理论的核心：

一个分布式系统不可能同时很好的满足一致性，可用性和分区容错性这三个需求，最多只能满足两个！，因此，根据CAP原理将NoSQL数据库分成了满足CA原则、满足CP原则和满足AP原则三大类：

CA：单点集群，满足一致性，可用性的系统，通常在可扩展性上不太强大

CP：满足一致性，分区容忍性的系统，通常性能不是特别高

AP：满足可用性，分区容忍性的系统，通常可以对一致性要求低一些

But！！！，由于当前的网络硬件肯定非出现延迟丢包等问题，所以 分区容忍性 是我们必须需要实现的！所以我们只能在一致性和可用性之间进行权衡，没有NoSQL系统能同时保证这三点。

对于Web2.0网站来说，关系型数据库的很多主要特性往往无用武之地！

数据库事务一致性需求：

很多web实时系统并不要求严格的数据库事务，对读一致性要求很低，有些场合对写一致性并不高。允许实现最终一致性。

数据库的写实时性和读实时性需求：

对关系型数据库来说，插入一条数据之后立刻查询，是肯定可以读出来这条数据的，但是对于很多Web应用来说，并不要求那么高的实时性，比方说发一条消息之后，过几秒乃至十几秒之后，我的订阅者才看到这条动态是完全可以接受的。

对复杂的SQL查询，特别是多表关联查询的需求：

任何大数据量的web系统，都非常忌讳多个大表的关联查询，以及复杂的数据分析类型的报表查询，特别是SNS类型的网站，从需求以及产品设计角度，就避免了这种情况的产生。往往更多只是单表的主键查询，以及单表条件分页查询，SQL的功能被极大的弱化了。

BASE：

BASE就是为了解决关系数据库强一致性引起的问题而引起的可用性降低而提出的解决方案

BASE其实就是下面三个术语的缩写：

基本可用（Basically Available）

软状态（Soft state）

最终一致（Eventually consistent）

它的思想是通过让系统放松对某一时刻数据一致性的要求来换取系统整体伸缩性和性能上改观。

分布式系统+集群：

分布式系统（distributed system）：

由多太计算机和通信的软件组件通过计算机网络连接欸（本地网络或广域网）组成。分布式系统是建立在网络之上的软件系统。正是因为软件的特性，所以分布式系统具有高度的内聚性和透明性。因此和分布式系统之间的区别更多的在于高层软件，而不是硬件。分布式系统可以应用在不同的平台上...

简单来说：

分布式：不同的多台服务器上面部署不同的服务模块（工程），他们之间通过Rpc/Rmi之间通信和调用，对外提供服务和组内协作。

集群：不同的多台服务器上面部署相同的服务模块，通过分布式调度软件进行统一的调度，对外提供服务和访问。

二、Redis概述

Redis就是一个使用C语言开发的数据库，因为读写都在内存中进行，所以读写速度非常快，因此Redis被广泛应用于缓存方向

除了缓存，Redis也经常被用来做分布式锁，以及消息队列

Redis提供了多种数据类型来支持不同的业务场景。Redis还支持事务、持久化、多种集群方案

Redis有三个特点：

• Redis支持数据的持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载进行使用
• Redis不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储
• Redis支持数据的备份，即master-slave模式的数据备份

假如用户第一次访问数据库中某些数据，这个过程就比较慢，毕竟是从硬盘中读取的，但是，若用户访问的数据属于高频数据并且不会经常改变的话，那么我们就可以很放心的将该用户访问的数据存在缓存中！

这样就可以保证用户下一次再访问这些数据的时候就可以直接从缓存中获取了，操作缓存就是直接操作操作系统，所以速度相当快（注意要保持数据库和缓存中数据一致性）

三、Redis数据类型

3.1 Redis的五大数据类型

哪里去获得redis常见数据类型操作命令

• Redis键（key）

  keys *

  exists key的名字，判断某个key是否存在

  move key db ---> 当前库没有了，被移除

  expire key 秒钟：为给定的key设置国企时间

  ttl key 查看还有多少秒过期， -1表示永不过期， -2表示已经过期

  type key 查看你的key是什么类型

  1	DEL key
  该命令用于在 key 存在时删除 key。
  2	DUMP key
  序列化给定 key ，并返回被序列化的值。
  3	EXISTS key
  检查给定 key 是否存在。
  4	EXPIRE key seconds
  为给定 key 设置过期时间，以秒计。
  5	EXPIREAT key timestamp
  EXPIREAT 的作用和 EXPIRE 类似，都用于为 key 设置过期时间。 不同在于 EXPIREAT 命令接受的时间参数是 UNIX 时间戳(unix timestamp)。
  6	PEXPIRE key milliseconds
  设置 key 的过期时间以毫秒计。
  7	PEXPIREAT key milliseconds-timestamp
  设置 key 过期时间的时间戳(unix timestamp) 以毫秒计
  8	KEYS pattern
  查找所有符合给定模式( pattern)的 key 。
  9	MOVE key db
  将当前数据库的 key 移动到给定的数据库 db 当中。
  10	PERSIST key
  移除 key 的过期时间，key 将持久保持。
  11	PTTL key
  以毫秒为单位返回 key 的剩余的过期时间。
  12	TTL key
  以秒为单位，返回给定 key 的剩余生存时间(TTL, time to live)。
  13	RANDOMKEY
  从当前数据库中随机返回一个 key 。
  14	RENAME key newkey
  修改 key 的名称
  15	RENAMENX key newkey
  仅当 newkey 不存在时，将 key 改名为 newkey 。
  16	SCAN cursor [MATCH pattern] [COUNT count]
  迭代数据库中的数据库键。
  17	TYPE key
  返回 key 所储存的值的类型。
  

• Redis字符串（String）

  String类型是Redis最基本的类型，可以理解成与Memcached一模一样的类型，一个key对应一个value

  String类型是二进制安全的。即可以包含任何数据

  一个Redis中字符串value最多可以是512M

  序号	命令及描述
  1	SET key value
  设置指定 key 的值
  2	GET key
  获取指定 key 的值。
  3	GETRANGE key start end
  返回 key 中字符串值的子字符
  4	GETSET key value
  将给定 key 的值设为 value ，并返回 key 的旧值(old value)。
  5	GETBIT key offset
  对 key 所储存的字符串值，获取指定偏移量上的位(bit)。
  6	MGET key1 [key2..]
  获取所有(一个或多个)给定 key 的值。
  7	SETBIT key offset value
  对 key 所储存的字符串值，设置或清除指定偏移量上的位(bit)。
  8	SETEX key seconds value
  将值 value 关联到 key ，并将 key 的过期时间设为 seconds (以秒为单位)。
  9	SETNX key value
  只有在 key 不存在时设置 key 的值。
  10	SETRANGE key offset value
  用 value 参数覆写给定 key 所储存的字符串值，从偏移量 offset 开始。
  11	STRLEN key
  返回 key 所储存的字符串值的长度。
  12	MSET key value [key value ...]
  同时设置一个或多个 key-value 对。
  13	MSETNX key value [key value ...]
  同时设置一个或多个 key-value 对，当且仅当所有给定 key 都不存在。
  14	PSETEX key milliseconds value
  这个命令和 SETEX 命令相似，但它以毫秒为单位设置 key 的生存时间，而不是像 SETEX 命令那样，以秒为单位。
  15	INCR key
  将 key 中储存的数字值增一。
  16	INCRBY key increment
  将 key 所储存的值加上给定的增量值（increment） 。
  17	INCRBYFLOAT key increment
  将 key 所储存的值加上给定的浮点增量值（increment） 。
  18	DECR key
  将 key 中储存的数字值减一。
  19	DECRBY key decrement
  key 所储存的值减去给定的减量值（decrement） 。
  20	APPEND key value
  如果 key 已经存在并且是一个字符串， APPEND 命令将指定的 value 追加到该 key 原来值（value）的末尾。
  

• Redis列表（List）

  Redis 列表是简单的字符串列表，按照插入顺序排序。你可以添加一个元素导致列表的头部或者尾部，其底层实际是链表

  1	BLPOP key1 [key2 ] timeout
  移出并获取列表的第一个元素， 如果列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止。
  2	BRPOP key1 [key2 ] timeout
  移出并获取列表的最后一个元素， 如果列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止。
  3	BRPOPLPUSH source destination timeout
  从列表中弹出一个值，将弹出的元素插入到另外一个列表中并返回它； 如果列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止。
  4	LINDEX key index
  通过索引获取列表中的元素
  5	LINSERT key BEFORE|AFTER pivot value
  在列表的元素前或者后插入元素
  6	LLEN key
  获取列表长度
  7	LPOP key
  移出并获取列表的第一个元素
  8	LPUSH key value1 [value2]
  将一个或多个值插入到列表头部
  9	LPUSHX key value
  将一个值插入到已存在的列表头部
  10	LRANGE key start stop
  获取列表指定范围内的元素
  11	LREM key count value
  移除列表元素
  12	LSET key index value
  通过索引设置列表元素的值
  13	LTRIM key start stop
  对一个列表进行修剪(trim)，就是说，让列表只保留指定区间内的元素，不在指定区间之内的元素都将被删除。
  14	RPOP key
  移除列表的最后一个元素，返回值为移除的元素。
  15	RPOPLPUSH source destination
  移除列表的最后一个元素，并将该元素添加到另一个列表并返回
  16	RPUSH key value1 [value2]
  在列表中添加一个或多个值
  17	RPUSHX key value
  为已存在的列表添加值
  

• Redis集合（Set）

  Redis的Set是String类型的无序集合。它是通过HashTable实现的

  1	SADD key member1 [member2]
  向集合添加一个或多个成员
  2	SCARD key
  获取集合的成员数
  3	SDIFF key1 [key2]
  返回第一个集合与其他集合之间的差异。
  4	SDIFFSTORE destination key1 [key2]
  返回给定所有集合的差集并存储在 destination 中
  5	SINTER key1 [key2]
  返回给定所有集合的交集
  6	SINTERSTORE destination key1 [key2]
  返回给定所有集合的交集并存储在 destination 中
  7	SISMEMBER key member
  判断 member 元素是否是集合 key 的成员
  8	SMEMBERS key
  返回集合中的所有成员
  9	SMOVE source destination member
  将 member 元素从 source 集合移动到 destination 集合
  10	SPOP key
  移除并返回集合中的一个随机元素
  11	SRANDMEMBER key [count]
  返回集合中一个或多个随机数
  12	SREM key member1 [member2]
  移除集合中一个或多个成员
  13	SUNION key1 [key2]
  返回所有给定集合的并集
  14	SUNIONSTORE destination key1 [key2]
  所有给定集合的并集存储在 destination 集合中
  15	SSCAN key cursor [MATCH pattern] [COUNT count]
  迭代集合中的元素
  

• Redis哈希（Hash）

  Redis Hash（哈希）是一个键值对集合，Redis Hash 是一个String类型的field和value的映射表，hash特别适合用于存储对象，类似于Java中的Map<String,Object>

  1	HDEL key field1 [field2]
  删除一个或多个哈希表字段
  2	HEXISTS key field
  查看哈希表 key 中，指定的字段是否存在。
  3	HGET key field
  获取存储在哈希表中指定字段的值。
  4	HGETALL key
  获取在哈希表中指定 key 的所有字段和值
  5	HINCRBY key field increment
  为哈希表 key 中的指定字段的整数值加上增量 increment 。
  6	HINCRBYFLOAT key field increment
  为哈希表 key 中的指定字段的浮点数值加上增量 increment 。
  7	HKEYS key
  获取所有哈希表中的字段
  8	HLEN key
  获取哈希表中字段的数量
  9	HMGET key field1 [field2]
  获取所有给定字段的值
  10	HMSET key field1 value1 [field2 value2 ]
  同时将多个 field-value (域-值)对设置到哈希表 key 中。
  11	HSET key field value
  将哈希表 key 中的字段 field 的值设为 value 。
  12	HSETNX key field value
  只有在字段 field 不存在时，设置哈希表字段的值。
  13	HVALS key
  获取哈希表中所有值。
  14	HSCAN key cursor [MATCH pattern] [COUNT count]
  迭代哈希表中的键值对。
  

• Redis有序集合Zset（SortedSet：有序集合）

  与Set不同的是，每个元素都会关联一个double类型的分数，redis正是通过分数来为集合中的成员进行从小到大的排序。zset的成员是唯一的，但分数（score）却可以重复

  1	ZADD key score1 member1 [score2 member2]
  向有序集合添加一个或多个成员，或者更新已存在成员的分数
  2	ZCARD key
  获取有序集合的成员数
  3	ZCOUNT key min max
  计算在有序集合中指定区间分数的成员数
  4	ZINCRBY key increment member
  有序集合中对指定成员的分数加上增量 increment
  5	ZINTERSTORE destination numkeys key [key ...]
  计算给定的一个或多个有序集的交集并将结果集存储在新的有序集合 key 中
  6	ZLEXCOUNT key min max
  在有序集合中计算指定字典区间内成员数量
  7	ZRANGE key start stop [WITHSCORES]
  通过索引区间返回有序集合指定区间内的成员
  8	ZRANGEBYLEX key min max [LIMIT offset count]
  通过字典区间返回有序集合的成员
  9	ZRANGEBYSCORE key min max [WITHSCORES] [LIMIT]
  通过分数返回有序集合指定区间内的成员
  10	ZRANK key member
  返回有序集合中指定成员的索引
  11	ZREM key member [member ...]
  移除有序集合中的一个或多个成员
  12	ZREMRANGEBYLEX key min max
  移除有序集合中给定的字典区间的所有成员
  13	ZREMRANGEBYRANK key start stop
  移除有序集合中给定的排名区间的所有成员
  14	ZREMRANGEBYSCORE key min max
  移除有序集合中给定的分数区间的所有成员
  15	ZREVRANGE key start stop [WITHSCORES]
  返回有序集中指定区间内的成员，通过索引，分数从高到低
  16	ZREVRANGEBYSCORE key max min [WITHSCORES]
  返回有序集中指定分数区间内的成员，分数从高到低排序
  17	ZREVRANK key member
  返回有序集合中指定成员的排名，有序集成员按分数值递减(从大到小)排序
  18	ZSCORE key member
  返回有序集中，成员的分数值
  19	ZUNIONSTORE destination numkeys key [key ...]
  计算给定的一个或多个有序集的并集，并存储在新的 key 中
  20	ZSCAN key cursor [MATCH pattern] [COUNT count]
  迭代有序集合中的元素（包括元素成员和元素分值）
  

Redis虽说支持多线程，但是几乎只用单线程，因为其性能瓶颈不在于CPU、而是主要在内存与网络，只要是多线程就会存在死锁、线程上下文切换，可能会影响性能！

Redis通过IO多路复用程序来监听来自客户端的大量连接，它会将感兴趣的事件及类型(读、写）注册到内核中并监听每个事件是否发生。

I/O 多路复用技术的使用让 Redis 不需要额外创建多余的线程来监听客户端的大量连接，降低了资源的消耗（和 NIO 中的 Selector 组件很像）。

Redis 通过一个叫做过期字典（可以看作是hash表）来保存数据过期的时间。过期字典的键指向Redis数据库中的某个key(键)，过期字典的值是一个long long类型的整数，这个整数保存了key所指向的数据库键的过期时间（毫秒精度的UNIX时间戳）。

五、Redis的持久化

RDB、AOF

RDB（Redis DataBase）：

在指定的时间间隔内将内存中的数据集快照写入磁盘，也就是行话讲的Snapshot快照，它恢复时是将快照文件直接读到内存里。

Redis会单独创建一个子进程来进行持久化，会先将数据写入到一个临时文件中，待持久化过程都结束了，在用这个临时文件替换上次持久化好的文件。

整个过程中，主进程是不进行任何IO操作的，这就确保了极高的性能。若不对数据敏感，且大规模数据恢复，则RDB比AOF更高效！

缺点就是：最后一次持久化的数据可能会丢失

AOF（Append Only File）：

以日志的形式来记录每个写操作，将Redis执行过的所有写指令记录下来（读操作不记录），只须追加文件但不可以改写文件，redis启动之初会读取该文件重新构造数据，换言之，redis重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作

即：RDB持久化方式可以在指定时间间隔对数据进行快照存储，AOF持久化记录每次对服务器写的操作，但服务器重启时会重新执行这些命令来恢复原始的数据，AOF命令以redis协议追加保存每次写的操作到文件末尾，Redis还能对AOF文件进行后台重写，使得AOF文件的体积不至于过大！

同时开启两种持久化方式：redis重启时会优先载入AOF文件来恢复原始的数据，因为在通常情况下AOF文件保存的数据集要比RDB文件保存的数据集要完整。

六、缓存穿透

缓存穿透说简单点就是大量请求的 key 根本不存在于缓存中，导致请求直接到了数据库上，根本没有经过缓存这一层

解决

• 最基本的就是首先做好参数校验，一些不合法的参数请求直接抛出异常信息返回给客户端。比如查询的数据库 id 不能小于 0、传入的邮箱格式不对的时候直接返回错误消息给客户端等等。
• 缓存无效 key
• 布隆过滤器

Redis学习

原文：https://www.cnblogs.com/yfyyy/p/13709996.html