corosync基础介绍
corosync
AIS：
Application Interface Standard，应用程序接口规范
SA Forum：服务可用性论坛，OpenAIS即是此论坛开发
OpenAIS
提供了一种集群模式，包含集群框架、集群成员管理、通信方式、集群监测等，但没有提供集群资源管理功能；
常用组件包括：AMF，CLM，CPKT，EVT等接口，分支不同，包含的组件略有区别；
目前的三大主要分支包括：picacho，whitetank，wilson；OpenAIS在由whitetank升级到wilson的过程中，将其中的一个核心架构组件独立了出来，即corosync；由此，整个OpenAIS分裂为两个项目：corosync（集群管理引擎）和wilson（ais的接口标准）
CentOS 6上高可用集群的两套解决方案
cman + rgmanager（为了兼容CentOS 5）
corosync + pacemaker
命令行管理工具：
crmsh：SUSE，CentOS 6.4-
依赖于pssh
pcs：RedHat，CentOS 6.5+
crm常用子命令
configure：配置集群
show：显示集群信息
property：设置全局参数（命令后跟一个“space”，然后连击两下“Tab”）
verify：检查配置的语法错误
primitive：设置主资源
group：设置组资源
clone：设置克隆资源
ms：设置主从资源
location：定义位置约束
colocation：定义排列约束
order：定义顺序约束
delete：删除资源（无法删除使用中的资源）
edit：直接修改配置文件（自动打开一个vim编辑器）
commit：将内存中的设定提交到磁盘
配置格式：
指明资源类型、资源名、资源代理的类型、资源代理的参数、op指明操作
primitive<rsc_id> class:provider:ra params param1=value1 param2=value2 op op1param1=value op op2 parma1=value1
node：管理节点
show：显示当前可用节点
standby：下线资源
online：上限资源
status：查看资源状态
resource：管理资源
migrate：手动迁移资源（migrate 资源名目标节点名）
unmigrate：手动回迁资源（unmigrate资源名）
stop：停止资源
start：启用资源
status：查看资源状态
cleanup：清理资源状态
ra：资源代理
classes：显示代理类别，lsb、ocf、service、stonith
list CLASSER：显示指定类别可用的资源代理
infoocf:IPaddr：查看指定资源的详细信息
注意：配置两节点的corosync集群时，需要设置的两个全局属性
stonith-enabled=false
no-quorum-policy=ignore
案例:基于corosync和pacemaker构建HA mysql service
有了以上理论基础，我们就可以尝试构建HA mysql service了
第一步，安装corosync并完成全局配置
1、安装并配置corosync
# yum-y install corosync pacemaker
# cd/etc/corosync/
# cpcorosync.conf.example corosync.conf
# vimcorosync.conf
secauth:off：
是否打开安全认证共享，一般应该启用；启用后需运行“corosync-keygen”命令生成密钥文件；
threads:0：
工作线程数；0表示不基于线程模式工作，而是基于进程模式工作；
interface：
定义多个节点间通过哪个接口，基于哪个多播地址，监听于哪个端口完成多播通信；
bindnetaddr：
定义多播地址监听的网络地址，例如本案例中node1的IP地址为172.16.14.2/16，所以其所处的网络地址即应为172.16.0.0；
mcastaddr：
多播地址
mcastport:5405：
多播端口
ringnumber:0
ttlbindnetaddr:1
若要将pacemaker运作为corosync的插件，还需在配置文件中添加如下信息
service{
ver: 0
name: pacemaker
use_mgmtd: yes
}
aisexec{
user: root
group: root
}
2、运行corosync-keygen命令，生成密钥文件
因为corosync-keygen命令需要从/dev/random熵池中读取1024个随机数来生成密钥文件，所以必须保证熵池中的随机数足够，否则进程将被阻塞；
此时可通过安装程序、下载文件等手段形成IO产生随机数
此命令生成的密钥文件，权限自动为400
-r--------.1 root root 128 May 31 15:11 authkey
3、将配置文件和密钥文件同步到node2节点中
# scp-p authkey corosync.conf node2:/etc/corosync/
4、此时可启动corosync，并监控其运行
#service corosync start;ssh node2 ‘service corosync start‘
# cd/var/log/cluster/
#tail -f corosync.log
查看corosync引擎是否正常启动：
#grep -e "Corosync Cluster Engine" -e "configuration file"/var/log/cluster/corosync.log
Sep 15 11:37:39 corosync [MAIN ] Corosync Cluster Engine (‘1.4.1‘): started and ready to provideservice.
Sep 15 11:37:39 corosync [MAIN ] Successfully read main configuration file‘/etc/corosync/corosync.conf‘.
查看初始化成员节点通知是否正常发出：
#grep TOTEM /var/log/cluster/corosync.log
Sep 15 11:37:39 corosync [TOTEM ] Initializing transport (UDP/IPMulticast).
Sep 15 11:37:39 corosync [TOTEM ] Initializing transmit/receivesecurity: libtomcrypt SOBER128/SHA1HMAC (mode 0).
Sep 15 11:37:39 corosync [TOTEM ] The network interface[172.16.100.7] is now up.
Sep 15 11:37:39 corosync [TOTEM ] A processor joined or left themembership and a new membership was formed.
Sep 15 11:37:39 corosync [TOTEM ] A processor joined or left themembership and a new membership was formed.
检查启动过程中是否有错误产生。下述错误信息表示packmaker不久之后将不再作为corosync的插件运行，因此建议使用cman作为集群基础架构服务；此处可安全忽略。
#grep ERROR: /var/log/cluster/corosync.log | grep -v unpack_resources
Sep 15 11:37:39 corosync [pcmk ] ERROR: process_ais_conf: You have configured a cluster using thePacemaker plugin for Corosync. The plugin is not supported in this environmentand will be removed very soon.
Sep 15 11:37:39 corosync [pcmk ] ERROR: process_ais_conf: Pleasesee Chapter 8 of ‘Clusters from Scratch‘ (http://www.clusterlabs.org/doc) fordetails on using Pacemaker with CMAN
Sep 15 11:37:40 corosync [pcmk ] ERROR: pcmk_wait_dispatch: Child process mgmtd exited (pid=2375,rc=100)
查看pacemaker是否正常启动：
#grep pcmk_startup /var/log/cluster/corosync.log
Sep 15 11:37:39 corosync [pcmk ] info: pcmk_startup: CRM: Initialized
Sep 15 11:37:39 corosync [pcmk ] Logging: Initialized pcmk_startup
Sep 15 11:37:39 corosync [pcmk ] info: pcmk_startup: Maximum core file size is: 18446744073709551615
Sep 15 11:37:39 corosync [pcmk ] info: pcmk_startup: Service: 9
Sep 15 11:37:39 corosync [pcmk ] info: pcmk_startup: Local hostname: node1.magedu.com
如果上面命令执行均没有问题，可以执行后续操作
注意：进行后续操作前一定要确保iptables关闭或规则清空，否则将导致集群分裂，两个节点之间无法联系
5、安装crmsh（仅需在一个节点安装即可）
lftp172.16.0.1:/pub/Sources/6.x86_64/corosync> get crmsh-2.1-1.6.x86_64.rpm
lftp172.16.0.1:/pub/Sources/6.x86_64/crmsh> get pssh-2.3.1-2.el6.x86_64.rpm
crmsh依赖于pssh，且本版本的crmsh只兼容较老版本的pssh
# yum --nogpgcheck localinstallcrmsh-2.1-1.6.x86_64.rpm pssh-2.3.1-2.el6.x86_64.rpm
6、使用crm命令完成全局配置
crm(live)configure#property stonith-enabled=false
因为本案例中无stonith设备，所以要设置禁用该设备
crm(live)configure#property no-quorum-policy=ignore
因为本案例是两节点集群，其中一节点下线会导致另一节点“without quorum”，而此时对资源的默认处理动作是stopped，资源会停止运行而不迁移，无法实现高可用的目的，所以必须作此修改；
使用crm命令所做的设置是保存在内存中的，要想配置正式生效需提交到磁盘中
crm(live)configure#verify（检查设置错误）
crm(live)configure#commit（提交）
crm(live)configure#cd ..（可返回上一级命令）
第二步，开始配置HA mysql service
(1)前期规划
需要准备3个资源：
ip：172.16.14.5
mysqld：二进制安装MariaDB
share storage：NFS
注意：必须保证node1、node2和nfs三者上mysql用户的uid相同，此处都设为360
(2)创建NFS
#mkdir -pv /data/mydata
# vim/etc/exports
添加一行信息“/data/ 172.16.0.0/16(rw,no_root_squash)”
#groupadd -r -g 360 mysql
#useradd -r -u 360 -g 360 mysql
#chown -R mysql.mysql /data/mydata/
(3)在其中一node上挂载nfs以作测试
#mount -t nfs 172.16.14.1:/data/ /data/
若出现错误提示“mount.nfs: access denied by serverwhile mounting 172.16.14.1:/data/mydata”，则需在提供nfs的虚拟机上重新导出nfs
#exportfs -arv
#groupadd -r -g 360 mysql
#useradd -r -u 360 -g 360 mysql
(4)安装MariaDB
lftp172.16.0.1:/pub/Sources/sources/mariadb> getmariadb-5.5.43-linux-x86_64.tar.gz
# tarxf mariadb-5.5.43-linux-x86_64.tar.gz -C /usr/local/
# ln-sv mariadb-5.5.43-linux-x86_64/ mysql
# cdmysql/
#chown -R root.mysql ./*
#./scripts/mysql_install_db --datadir=/data/mydata/ --user=mysql
完成此步数据库初始化后，就无需root对nfs有写权限了，此时可修改/etc/exports，删除no_root_squash
#mkdir /etc/mysql
# cpsupport-files/my-large.cnf /etc/mysql/my.cnf
# vim/etc/mysql/my.cnf，添加如下三行信息
datadir= /data/mydata
innodb_file_per_table= on
skip_name_resolve= on
# cpsupport-files/mysql.server /etc/rc.d/init.d/mysqld
#chkconfig --add mysqld
# vim/etc/profile.d/mysql.sh
# ./etc/profile.d/mysql.sh
开启mysql服务，在其中创建一个测试数据库，到提供nfs的虚拟机上验证，若一切OK，可关闭mysql服务，并确保其开机不会自动启动
#chkconfig mysqld off
# su- mysql
-bash-4.1$cd /data/mydata/
-bash-4.1$touch a.txt
-bash-4.1$exit
#touch /data/mydata/c.txt
切换到提供nfs的虚拟机上查看a.txt和c.txt文件是否存在，以证明mysql和root用户是否对nfs有写权限,而后清理测试文件
# rm-f /data/mydata/*.txt
#umount /data/
(5)配置HA mysqlservice
通过定义组来解决排列约束
注意：若第一次启动失败，排错后重新启动前一定要清除之前的错误记录，否则会导致一直无法启动
(6)创建远程登录用户并在远程主机上登录测试
MariaDB[(none)]> GRANT ALL ON *.* TO ‘root‘@‘172.16.%.%‘ IDENTIFIED BY ‘123‘;
#mysql -uroot -h172.16.14.5 -p
基于corosync和pacemaker实现HA mysql service
原文：http://10066605.blog.51cto.com/10056605/1656935