1 数据库的读写分离

1.1 Amoeba实现读写分离

1.1.1 定义

Amoeba是一个以MySQL为底层数据存储，并对应用提供MySQL协议接口的proxy

优点:

1. 配置读写分离时较为简单.配置文件编写方便
2. 可以做到整个数据库的读写分离
3. 占用的资源较少.

缺点:

1. 不能实现高可用
2. 现在不更新维护了

1.2 搭建amoeba

1.2.1 安装JDK

说明:Amoeba的使用依赖于JDK.

1.2.2 安装Amoeba

说明:将Amoeba文件拖入/usr/local/src/

将其解压

1.2.3 使用工具修改xml

通过工具连接远程的amoeba虚拟机

1.3 修改DBServer.xml

1.3.1 修改用户名和密码

1.3.2 配置数据库服务

说明:定义主数据库的IP地址

1.3.3 定义读操作策略

1.4 Amoeba配置

1.4.1 修改Amoeba.xml文件

说明:

默认的amoeba访问主库.

如果配置了读写分离则采用读写分离的操作数据库

所有的写库操作访问主数据库.

所有的读操作,访问multiPool负载均衡后的数据库slave,master,salve

Amoeba默认的访问端口是8066

1.5 修改JVM内存

1.5.1 修改内存

说明:

说明:原因的jvm配置文件大小只有256M太小,amoeba不能正常启动,需要修改JVM大小.

1.6 Amoeba启动

1.6.1 启动Amoeba

说明:进入到bin目录下执行启动命令

/usr/local/src/amoeba-mysql-3.0.4-BETA/bin

./launcher  启动

./shutdown  停止

1.7 Amoeba测试

1.7.1 连接Amoeba

说明:通过工具连接远程Amoeba.切记关闭防火墙

1.7.2 代码测试

说明:通过京淘后台管理修改数据源配置,通过代码测试Amoeba

jdbc.driver=com.mysql.jdbc.Driver

jdbc.url=jdbc:mysql://192.168.126.139:8066/jtdb?useUnicode=true&characterEncoding=utf8&autoReconnect=true&allowMultiQueries=true

jdbc.username=root

jdbc.password=root

1.8 错误集锦

1.8.1 关闭主库和从库的防火墙

说明:当虚拟机开机后,防火墙默认开启了,需要再次手动关闭.

1.8.2 修改配置文件后没有及时报错

共修改2个配置文件dbServer.xml,amoeba.xml

需要通过工具进行下载和上传/保证上传的文件不错.

1.8.3 报错端口占用

1. 关机重启
2. 查询项目的进程后杀死进程

Kill -9 5652

1. ./shutdown 关闭amoeba
2. 修改JVM内存

2 Mycat介绍

2.1 Mycat下载

2.1.1 下载地址

官网地址: http://www.mycat.io/

2.1.2 安装JDK

2.2 MyCat安装

2.2.1 解压文件

tar -xvf Mycat………

2.2.2 编辑schemas.xml文件

2.2.3 定义负载策略:

<dataHost name="localhost1" maxCon="1000" minCon="10" balance="1"

  writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">

<heartbeat>select 1</heartbeat>

<!--配置第一台主机主要进行写库操作,在默认的条件下Mycat主要操作第一台主机

在第一台主机中已经实现了读写分离.

因为默认写操作会发往137的数据库.

读的操作默认发往141.如果从节点比较忙,则主节点分担部分压力.

-->

<writeHost host="hostM1" url="192.168.126.137:3306" user="root" password="root">

<!--读数据库-->

<readHost host="hostS1" url="192.168.126.141:3306" user="root" password="root" />

</writeHost>

<!--定义第二台主机 由于数据库内部已经实现了双机热备.

Mycat实现高可用.当第一个主机137宕机后.mycat会自动发出心跳检测.检测3次.如果主机137没有给Mycat响应则判断主机死亡.则启动第二台主机继续为用户提供服务.

如果137主机恢复之后则处于等待状态.如果141宕机则137再次持续为用户提供服务.

前提:实现双机热备.

-->

<writeHost host="hostM2" url="192.168.126.141:3306" user="root" password="root">

<readHost host="hostS1" url="192.168.126.137:3306" user="root" password="root" />

</writeHost>

</dataHost>

2.2.4 修改server.xml

默认的schemas是TextDB.需要手动修改

2.2.5 启动Mycat

说明:进入根目录cd /usr/local/src/bin

./mycat start   启动

./mycat stop关闭mycat

2.2.6 测试

2.3 报错说明

2.3.1 IP错误

检测IP地址和自己的机器是否匹配

192.168.126.137

2.3.2 配置文件上传是否正确

1. 分别检测server.xml和schema文件是否上传成功

2.如果正确还是测试不成功,则先关闭mycat,控制台通过rm -rf 命令将Mycat的2个配置文件删除.之后通过FZ工具上传修改后的配置文件.之后重启mycat

2.3.3 检测日志是否启动成功

cd /usr/local/src/mycat/logs/  cat wrapper.log

2.3.4 关于getByte报错

由于Mycat中解析配置文件时会出现报错信息,

所以将每行注释都添加<!—注释-->

3 Redis学习

3.1 传统框架中的瓶颈

3.1.1 缓存机制

缓存机制其实就是降低了客户端访问真实数据源的访问频次.缓存中的数据就是数据源就数据的备份.如果数据源数据发生改变.缓存数据需要及时更新.

3.1.2 缓存中遇到的问题

1. 如果采用单台缓存服务器,很容器出现宕机现象.如果缓存服务器宕机将直接影响整个服务.---解决方案部署缓存集群
2. 如果实现缓存则需要实现数据的同步—配置主从
3. 如果缓存服务器宕机.数据如何保存.应该将数据尽可能持久化

3.1.3 Redis内存数据库

说明:redis现阶段所有企业中使用最多的内存数据库.其中主要采用key-value的形式保存数据.并且提供很多实用的数据类型.String/list/set/hash.

Redis底层通过C编辑,可以每秒支持110000次的集合运算.并且在内存中运行.

Redis底层实现时自动支持数据的持久化.如果reids重启会自动的扫描持久化文件之后恢复数据.

3.1.4 Redis的下载

http://www.redis.net.cn/

Window版本不建议使用

因为官方没有提供window版本,该window版本是微软自己研发.稳定性不强

3.1.5 缓存架构

3.1.6 解压redis

tar -xvf redis-3.2.8.tar.gz

3.1.7 编译redis

在根目录下执行 /usr/local/src/redis-3.2.8 执行make指令

make

生成可执行文件

3.1.8 安装redis

make install

4 Redis操作

4.1 启动redis

4.1.1 直接启动

命令:redis-server

说明:默认端口都是6379

问题:通过redis-server启动时,之后不能编写linux命令,需要再次创建链接.造成编码不便

4.1.2 后台启动

1. 解除IP绑定

1. 关闭保护模式

1. 开启后台运行

1. 开启后台redis

redis-server redis.conf

ps -ef |grep redis

root      5847     1  0 01:45 ?        00:00:00 redis-server *:6379    

root      5852  2571  0 01:45 pts/1    00:00:00 grep redis

4.2 操作redis

4.2.1 进入客户端

执行命令:redis-cli

4.3 Redis的操作命令

4.3.1 String 类型操作

4.3.2 Redis集合数据类型

1.字符串类型  String

2.散列类型 hash

3.列表类型 list

4.集合类型 set

5.有序集合类型

1.散列类型

可以通过散列类型用来保存对象和属性的值

例如:user对象    {id:2,name:小明,age:19}

通过散列类型赋值不需要{}

4.3.3 List列表类型

List列表类型(list)是一个存储有序的元素的集合类型.List数据类型底层是一个双端列表.可以从左右分别进行写入操作

双端列表的数据特点:查询两端数据时速度较快,查询中间数据较慢.

4.3.4 redis集合类型

redis支持集合类型,并且每个集合的元素类型都可以不同,并且集合时无序的.