codis伪集群的搭建使用

wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz
tar -zx[v]f zookeeper-3.4.6.tar.gz -C /work/servers
cd /work/servers/zookeeper-3.4.6
mkdir data && mkdir logs

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/work/servers/zookeeper-3.4.6/data
dataLogDir=/work/servers/zookeeper-3.4.6/logs
clientPort=2181

?最后把配置文件放到/etc/codis中，

cp /work/servers/zookeeper-3.4.6/conf/zoo.cfg /etc/codis/zoo.cfg

(4)jdk安装略...?

(5)redis安装略...

(6)准备codis-server(6个redis服务)的启动文件：

?修改redis.conf，主要修改这几点：?

daemonize yes
pidfile /var/run/redis_6379.pid
port 6379
dbfilename dump_6379.rdb
dir /work/codis/rdb

?然后执行下面命令：??

cp redis.conf /etc/codis/redis_6378.conf && sed -i ‘s/6379/6378/g‘ /etc/codis/redis_6378.conf
cp redis.conf /etc/codis/redis_6478.conf && sed -i ‘s/6379/6478/g‘ /etc/codis/redis_6478.conf
cp redis.conf /etc/codis/redis_6379.conf
cp redis.conf /etc/codis/redis_6479.conf && sed -i ‘s/6379/6479/g‘ /etc/codis/redis_6479.conf
cp redis.conf /etc/codis/redis_6380.conf && sed -i ‘s/6379/6380/g‘ /etc/codis/redis_6380.conf
cp redis.conf /etc/codis/redis_6480.conf && sed -i ‘s/6379/6480/g‘ /etc/codis/redis_6480.conf

?(7)配置环境变量，执行命令：vim /etc/profile，在最后一行添加：?

export GOROOT=/work/servers/go
export GOPATH=/work/gospace
export ZOOKEEPER_HOME=/work/servers/zookeeper-3.4.6
export JAVA_HOME=你的jdk根路径
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export PATH=$GOROOT/bin:$GOPATH/bin:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$PATH

?配置ok，刷新环境变量; ?.或者source ?/etc/profile。

?

(8)测试三个必须软件是否正常安装：

jdk - 执行java命令

zookeeper?

? ?- 启动命令：zkServer.sh start /etc/codis/zoo.cfg

? ?- 停止敏力：zkServer.sh stop /etc/codis/zoo.cfg

? ?- 查看状态：zkServer.sh status /etc/codis/zoo.cfg

go - 编写个小程序(摘自go官网)?

  package main
  import "fmt"
  func main() {
	fmt.Println("Hello, 世界")
  }

?执行命令：go run hello.go。

?

?

二、codis安装与配置

1、安装codis前，需要先装下git：?

yum install -y git

?2、下载codis源码(下载目录自动到GOPATH=/work/gospace中)：??

go get -u -d github.com/CodisLabs/codis

?3、切换到/work/gospace/src/github.com/CodisLabs/codis，编译测试：??

make && make gotest

?4、执行成功了上面的命令，会在bin文件夹中生成三个可执行文件：codis-config、codis-proxy、codis-server，常用命令查询：?

./codis-config -c /etc/codis/config.ini proxy -h
./codis-config -c /etc/codis/config.ini action -h
./codis-config -c /etc/codis/config.ini slot -h
./codis-config -c /etc/codis/config.ini server -h
./codis-config -c /etc/codis/config.ini dashboard -h

?5、在/work目录建立软链接方便进入bin目录：?

ln -s /work/gospace/src/github.com/CodisLabs/codis/bin codis_bin

?6、编辑config.ini文件，主要修改2点：?

zk=192.168.56.101:2181(如果是zookeeper集群，用逗号隔开继续添加)
dashboard_addr=192.168.56.101:18087
【下面可选修改】
[product=test 其实就是个Namespace区分项目，改完后在zookeeper中的路径会稍微不同，如：/zk/codis/db_product名字]
[proxy_id=proxy1 改完在启动proxy的时候，注意proxy_id的名字]

?ip地址改为客户端能访问到的，最好别搞成127.0.0.1；然后copy到/etc/codis/目录。

?

?

三、codis的运行

【说明】：

（1）首先创建2个group(group-1,group-2)，分配redis端口号：6378(master-group1)、6478(slave-group1)、6379(master-group2)、6479(slave-group2)，槽位分配group1:0-511,group2:512-1023；

（2）然后再创建1个group(group-3)，分配redis端口号6380(master-group3)、6480(slave-group3)，重新分配槽位：group1:0-340,group2:341-680，group3:681-1023；?

（3）以下所有的bash文件都是在codis_bin目录中；

（4）首次启动codis，必须按照下面1-6的顺序依次启动命令。

1、首先启动zookeeper[如果安装时候已启动，自动忽略]：

论zookeeper重要性：Codis依赖ZooKeeper来存放数据路由表和codis-proxy节点的元信息,codis-config发起的命令都会通过ZooKeeper同步到各个存活的codis-proxy。?

zkServer.sh start /etc/codis/zoo.cfg

?2、启动dashboard，方便起见写到bash文件[下同]：??

#!/bin/bash
nohup ./codis-config -c /etc/codis/config.ini -L /work/codis/logs/dashboard.log dashboard --addr=192.168.56.101:18087 --http-log=/work/codis/logs/request.log > /dev/null 2>&1 &

--addr的ip地址不能写成127.0.0.1 否则访问页面打不开。

执行：ps -ef | grep codis 能看到：?

root      1536     1  0 16:38 ?        00:00:42 ./codis-config -c /etc/codis/config.ini -L /work/codis/logs/dashboard.log dashboard --addr=192.168.56.101:18087 --http-log=/work/codis/logs/request.log
root      1970  1122  0 18:33 pts/0    00:00:00 grep codis

?3、启动redis：?

#!/bin/bash
echo ‘redis starting‘
./codis-server /etc/codis/redis_6378.conf
./codis-server /etc/codis/redis_6478.conf
./codis-server /etc/codis/redis_6379.conf
./codis-server /etc/codis/redis_6479.conf
./codis-server /etc/codis/redis_6380.conf
./codis-server /etc/codis/redis_6480.conf
echo ‘done‘

?4、初始化group：?

#!/bin/bash
echo ‘groups initializing...‘
./codis-config -c /etc/codis/config.ini server add 1 localhost:6378 master
./codis-config -c /etc/codis/config.ini server add 1 localhost:6478 slave

./codis-config -c /etc/codis/config.ini server add 2 localhost:6379 master
./codis-config -c /etc/codis/config.ini server add 2 localhost:6479 slave
echo ‘done‘

5、初始化slot：?

#!/bin/bash
echo ‘slots starting...‘
./codis-config -c /etc/codis/config.ini action remove-fence
./codis-config -c /etc/codis/config.ini slot init -f

./codis-config -c /etc/codis/config.ini slot range-set 0 511 1 online
./codis-config -c /etc/codis/config.ini slot range-set 512 1023 2 online
echo ‘done‘

6、启动proxy：?

#!/bin/bash
echo ‘shutdown codis-proxy‘
./codis-config -c /etc/codis/config.ini proxy offline proxy_1

sleep 2
echo ‘codis-proxy starting‘
nohup ./codis-proxy -c /etc/codis/config.ini --log-level=info -L /work/codis/logs/proxy.log --cpu=3 --addr=192.168.56.101:19000 --http-addr=192.168.56.101:11000 &>/dev/null &

[下面命令非必须(执行也不报错),官方文档有点问题：它指出启动后的proxy是offline状态，但是实验发现是online状态的，所以无需执行下面设置为online的命令]
sleep 2
echo ‘setting codis-proxy online‘
./codis-config -c /etc/codis/config.ini proxy online proxy_1
echo ‘done‘

?

?

全部启动正常后，打开chrome，访问：http://192.168.56.101:18087/admin/，可以看到如下界面(此时你看不到group3)：

?

?

?

?

四、codis的模拟各种场景测试

1、用java程序写测试程序：

JedisResourcePool jedisPool = RoundRobinJedisPool.create().curatorClient("192.168.56.101:2181", 30000).zkProxyDir("/zk/codis/db_test/proxy").build();
Jedis jedis = jedisPool.getResource();
while(++i < 10000){
 jedis.setnx("num:"+i, i+"");
}

2、多线程测试程序：?

public static String randomstr(){
	Random rnd = new Random();
	return ""+rnd.nextInt(Integer.MAX_VALUE);
}

public static void init_data(JedisResourcePool jedisPool){
	for(int i = 0; i < 100; i++){
		new myThread(jedisPool).start();
	}
}
static class myThread extends Thread{
	private JedisResourcePool jedisPool;
	public myThread(JedisResourcePool jedisPool){
		this.jedisPool = jedisPool;
	}
	public void run() {
		for(int i=0;i<1000;i++){
			String randomstr = randomstr();
			Jedis jedis = jedisPool.getResource();
			jedis.setnx(randomstr, randomstr);
			System.out.println(Thread.currentThread().getName()+"=======>>>>"+randomstr);
			try {
				Thread.sleep(500);
			} catch (InterruptedException e) {
				System.out.println(e.getMessage() + "=======>>>>" + randomstr);
				e.printStackTrace();
			} finally{
				jedis.close();
			}
		}
	}
}

?3、程序检测key值定位到哪个slot：?

CRC32 crc32 = new CRC32();
crc32.update("num:1".getBytes());
System.out.println(crc32.getValue() % 1024);

??

4、把6479-redis(slave)从group1中remove掉，然后向6379-redis(master)插入数据，看是否继续同步数据到6479-redis(slave)：?

./codis-config -c /etc/codis/config.ini server remove 2 localhost:6479

??

5、保持程序2在正常运行状态，同时添加group3，重新分配迁移slot，查看是否抛异常.

依次执行下面命令：?

./codis-config -c /etc/codis/config.ini server add 3 localhost:6380 master
./codis-config -c /etc/codis/config.ini server add 3 localhost:6480 slave
./codis-config -c /etc/codis/config.ini slot migrate 0 340 1 --delay=5
./codis-config -c /etc/codis/config.ini slot migrate 341 680 2 --delay=5
./codis-config -c /etc/codis/config.ini slot migrate 681 1023 3 --delay=5

?6、再启动一个proxy（proxy_2）：

??【说明】：

==================================================

①config.ini中使用相同的zookeeper，dashboard_addr，product， 不同的proxy_id；

②start_proxy_2.sh中设置不同的addr，http-addr端口号，以及log日志文件名

==================================================

?复制一份config.ini重命名为config_2.ini

cd /etc/codis
cp config.ini config_2.ini && sed -i ‘s/proxy_1/proxy_2/g‘ config_2.ini

?启动proxy_2：??

#!/bin/bash
echo ‘shutdown codis-proxy-2‘
./codis-config -c /etc/codis/config_2.ini proxy offline proxy_2

sleep 2
echo ‘codis-proxy-2 starting‘
nohup ./codis-proxy -c /etc/codis/config_2.ini --log-level=info -L /work/codis/logs/proxy_2.log --cpu=3 --addr=192.168.56.101:19001 --http-addr=192.168.56.101:11001 &>/dev/null &

sleep 2
echo ‘setting codis-proxy-2 online‘
./codis-config -c /etc/codis/config_2.ini proxy online proxy_2
echo ‘done‘

启动成功后，保持程序2在正常运行状态，测试几点：?

①使用页面端mark offline按钮停掉其中一个proxy；

②然后再启动停掉的proxy；

③分别使用kill或者kill -9杀死某个proxy的进程

?

7、虚拟机退出后，再次开启，只需要启动zookeeper、dashboard、redis、proxy即可，测试以下几点：

①观察slave/master的redis是否还是slave/master；

②调用程序插入数据是否正常；

③主从同步是否正常。

?

五、测试总结

1、同一个组中，remove掉某个slave，插入到master的数据，还能同步到该slave中、

?

2、挂掉整个系统，重新启动dashboard，控制页面虽然能看到master和slave的redis状态，实际上slave不再是slave，而是master，需要进行重新add-slave操作。

?

3、dashboard启动不来，报错如下：?

dashboard.go:234: [PANIC] create zk node failed
   [error]: dashboard already exists: {"addr": "192.168.56.101:18087", "pid": 1242}

?

解决方案：delete /zk/codis/db_test/dashboard

?

4、删除一个已分配slot的group，或者redis-master时，报错：?

[error]: http status code 500, cannot remove master, use promote first

?

解决方案：已分配slot的group是删除不了的，只能转移slot数据。删除redis-master也必然不行，一个group必须有个master。可以先指定一个slave升级为master，然后可以删除该master。

?

5、kill -9强制关闭proxy，codis无法区分是否正常下线或者session过期。然后再操作分配slot时候，出现错误。

解决办法：

./codis-config -c /etc/codis/config.ini action remove-fence 
或者 进入zookeeper手动删除/zk/codis/db_test/fence

?

6、slot的迁移,程序运行对迁移状态不影响，可以在dashboard看到迁移动态。

?迁移原理：http://0xffff.me/blog/2014/11/11/codis-de-she-ji-yu-shi-xian-part-2

[ Codis 不适合少量key，value特别大的应用(这种不用分布式了，直接用单个redis就可以)， 更适合海量 Key, value比较小（<= 1 MB) 的应用]

?

六、使用codis-port把项目中redis数据迁移到codis集群

1、修改安装redis-server的redis.conf的端口号为6580：

?

sed -i ‘s/6379/6580/g‘ redis.conf

?

2、启动安装的redis实例：? ?

redis-server ../conf/redis.conf

?

3、写个程序往6580-redis插入10w条数据：

?

Jedis jedis = new Jedis("192.168.56.101", 6580);
for(int i=20000;i<100000;i++){
	jedis.set("i:"+i, ""+i);
}

4、下载安装、编译redis-port:

cd /work
go get -u -d github.com/CodisLabs/codis-port
cd /work/gospace/src/github.com/CodisLabs/codis-port && make
ln -s /work/gospace/src/github.com/CodisLabs/redis-port/bin codis_port_bin

?5、redis数据导入到codis集群：

cd /work/codis_port_bin

?执行命令：

#!/bin/bash
nohup ./redis-port sync --ncpu=3 --from=127.0.0.1:6580 --target=192.168.56.101:19000 > /work/codis/logs/redis-port.log 2>&1 &
sleep 3
tail -f /work/codis/logs/redis-port.log

?

?

codis伪集群的搭建使用

原文：http://aokunsang.iteye.com/blog/2287044