2.2 安装MariaDB

[在每个节点上]

2.2.1 加入MariaDB官方源

]# vim /etc/yum/repos.d/MariaDB.repo

[mariadb]

name = MariaDB

baseurl = http://yum.mariadb.org/10.1/centos6-amd64

gpgkey=https://yum.mariadb.org/RPM-GPG-KEY-MariaDB

gpgcheck=1

2.2.2 安装MariaDB，Galera，xtrabackup

]# yum install MariaDB-client MariaDB-Galera-server galera xtrabackup

2.2.3 启动MariaDB，并作安全加固

]# service mysql start

]# /usr/bin/mysql_secure_installation

2.2.4 增加SST用户，用于同步数据

]# mysql -u root -p

mysql> GRANT ALL PRIVILEGES on *.* to sst_user@'%' IDENTIFIED BY 'dbpass';

mysql> FLUSH PRIVILEGES;

mysql> quit

注意：为了安全，尽量不要用‘%’，而是指定的集群节点IP。

2.2.5 停止MariaDB，编辑Galera配置文件

]# service mysql stop

]# vi /etc/my.cnf.d/server.cnf

binlog_format=ROW

default-storage-engine=innodb

innodb_autoinc_lock_mode=2

innodb_locks_unsafe_for_binlog=1

query_cache_size=0

query_cache_type=0

bind-address=0.0.0.0

datadir=/var/lib/mysql

innodb_log_file_size=100M

innodb_file_per_table

innodb_flush_log_at_trx_commit=2

# Galera Provider Configuration

wsrep_provider=/usr/lib64/galera/libgalera_smm.so

# Galera Cluster Configuration

wsrep_cluster_address="gcomm://1.1.1.1,1.1.1.2,1.1.1.3"

wsrep_cluster_name='galera_cluster'

# Galera Node Configuration

wsrep_node_address='1.1.1.1'

wsrep_node_name='db1'

# Galera Synchronization Configuration

wsrep_sst_method=xtrabackup

wsrep_sst_auth=sst_user:dbpass

对于第二、三个节点，不要忘了修改地址：

wsrep_node_address=1.1.1.2

wsrep_node_name='db2'

2.2.6 初始化第一个节点

]# /etc/init.d/mysql start --wsrep-new-cluster

检查集群状态

]# mysql-uroot-p-e"show status like 'wsrep%'"

|wsrep_local_state_comment | Synced <-- cluster is synced

|wsrep_incoming_addresses  | 1.1.1.1:3306 <-- node db1 is a provider

|wsrep_cluster_size        | 1 <-- cluster consists of 1 node 

|wsrep_ready               | ON <-- good :)

2.2.7 启动第二个节点

]# service mysql start

]# mysql -u root -p -e "show status like 'wsrep%'"

| wsrep_local_state_comment | Synced                    |

| wsrep_incoming_addre sses | 1.1.1.1:3306,1.1.1.2:3306 |

| wsrep_cluster_size        | 2                         |

| wsrep_connected           | ON                        |

| wsrep_ready               | ON                        |

2.2.8 启动第三个节点

| wsrep_local_state_comment | Synced                                 |

| wsrep_incoming_addresses  | 1.1.1.3:3306,1.1.1.1:3306,1.1.1.2:3306 |

| wsrep_cluster_size        | 3                                      |

| wsrep_connected           | ON                                     |

| wsrep_ready               | ON                                     |

2.2.9 检验集群同步是否成功,在第一个节点执行：

]# mysql -u root -p -e 'CREATE DATABASE clustertest;'

]# mysql -u root -p -e 'CREATE TABLE clustertest.mycluster ( id INT NOT NULL AUTO_INCREMENT, name VARCHAR(50), ipaddress VARCHAR(20), PRIMARY KEY(id));'

]# mysql -u root -p -e 'INSERT INTO clustertest.mycluster (name, ipaddress) VALUES ("db1", "1.1.1.1");'

分别在3个节点上都执行以下查询：

]# mysql -u root -p -e 'SELECT * FROM clustertest.mycluster;'

Enter password: 

+----+------+-----------+

| id | name | ipaddress |

+----+------+-----------+

| 2  | db1  | 1.1.1.1   |

+----+------+-----------+

如果3个节点都能看到同样的结果，说明集群同步没有问题。

2.2.10 重新启动第一个节点，再次加入集群

]# service mysql stop

]# service mysql start

注意：除了第一次初始化启动集群外，绝对不要再次执行“--wsrep-new-cluster”，第一次初始化的时候也不能在多个节点上执行！！！切记！

三、Galera与haproxy

    在实际应用中，Galera集群常与haproxy配合，haproxy作为单一入口，将SQL流量分配到后端Galera，注意此处是TCP级别的，而不是SQL语句级别。如果需要SQL语句级别的，可以参考看看MaxScale。相比haproxy方案，各有应用，此处不展开。

    实际应用的结构通常如下图所示，haproxy作为Galera Cluster的前端，2台haproxy用keepalived避免单点故障。后端的Galera集群可以是3个节点，也可以是2个节点+1个仲裁节点。

    在我公司的实际使用中，我们采用了2个节点+1个仲裁节点的方式。另外，为了避免Galera写入冲突，在haproxy配置中，实际上只允许一个节点接受写入，另一个节点带有backup参数，只有当前允许写入的节点坏掉，才会自动写入另一个节点。为了充分利用另一个节点，同时做读写分离，在haproxy上监听两个端口，例如：3307用于写入，3308用于读取。

http://s2/mw690/0023u9s8zy79wdKHYYN11&690Cluster配置说明" TITLE="MySQL的Galera Cluster配置说明" />

盗一个别人的图来说明大概意思，这个图本身是说明haproxy配合主从复制的，但我们所用的读写分离意思是一样的。

http://s14/mw690/0023u9s8zy79wiMuXSd5d&690Cluster配置说明" TITLE="MySQL的Galera Cluster配置说明" />

3.1 galera的backend check

    使用haproxy，普通的tcp 3306端口的check不足以保证后端的数据库可用，因为Galera的集群状态有多种。因此必须仔细规划后段Galera状态检查，可以参考下图。

 percona已经根据上图做好了后端检查的clustercheck脚本，地址为：https://github.com/olafz/percona-clustercheck

3.1.1  从github下载clustercheck脚本到各节点的/usr/bin

3.1.2  编辑xinetd配置文件

]# vi /etc/xinetd.d/mysqlchk:

3.1.3  编辑/etc/services

# echo 'mysqlchk      9200/tcp    # MySQL check' >> /etc/services

3.1.4  重启xinetd

 # ／etc/init.d/xinetd restart

3.1.5  创建用于执行check的数据库用户，只需要在一个节点操作就好，Galera会自动同步到其他节点。

mysql> GRANT PROCESS ON *.* TO 'clustercheckuser'@'localhost' IDENTIFIED BY 'clustercheckpassword!'

注意：用户名和密码要与clustercheck脚本中的参数一致。

3.1.6  配置haproxy

haproxy做backend check的时候，如果后端节点正常，则会返回HTTP code 200 (OK), 否则返回HTTP error 503 (Service Unavailable) ，这样haproxy会自动加载或下线节点。

四、仲裁节点

    为了避免“脑裂”，Galera集群最少需要3个节点，生产环境中最好是3台独立主机，或者位于3个不同IDC的主机。如果觉得3台主机太浪费，也可以2台数据库节点+1个虚拟机仲裁节点。

    仲裁节点是集群的一部分，可以参与投票，但是不参与实际复制。在3个IDC场景下，如果一个IDC自身网络中断，但假如它与仲裁节点可以连通，同时其他节点也与仲裁节点可以连通的话，那仲裁节点就会作为中间人连接另两个节点通信。

    尽管仲裁节点不存储数据，但它必须可以看到所有的流量的传输复制。如果仲裁节点放在一个网络环境较差的地方，那它连接到集群的时候，可能会导致集群性能下降。

   http://s9/bmiddle/0023u9s8zy79wdy7Ausb8&690Cluster配置说明" TITLE="MySQL的Galera Cluster配置说明" />

使用YUM安装的MariaDB带有Galera Arbitrator，在配置文件中写入前边配好的集群节点地址和端口，集群名字，启动grab即可。

]# vi /etc/sysconfig/garb

]# service garb start

[ ok ] Starting /usr/bin/garbd: :.

]# service garb status

[ ok ] garb is running.

]# mysql -u root -p -e "SHOW STATUS LIKE 'wsrep_cluster_size'"

检查集群节点数量，会发现增加了1个节点。

补充下关于如何测试Galera集群的脑裂（两个节点的集群）

1.断开两个节点的网络连接，quorum丢失，所有节点不再接受请求

2.将网络连接恢复，quorum仍然丢失，所有节点仍旧不接受请求。

3.登录其中一个节点，reset quorum:

SET GLOBAL wsrep_provider_options='pc.bootstrap=1';

4.quorum被重置，集群恢复

参考文档：

http://galeracluster.com/documentation-webpages/galerainstallation.html Galera安装文档

https://www.vps.net/community/knowledgebase/display/vpsfeatures/Galera+MySQL+Recommended+Cluster+Configuration 关于参考节点

http://www.tuicool.com/articles/qM3iU3Y  关于仲裁节点

https://www.percona.com/doc/percona-xtradb-cluster/5.6/howtos/garbd_howto.html  配置仲裁节点

https://www.freesoftwareservers.com/wiki/configure-garbd-mariadb-centos-7-10649614.html  配置仲裁节点

http://www.cnblogs.com/itcomputer/articles/5614356.html  关于节点状态检查

https://severalnines.com/resources/tutorials/mysql-load-balancing-haproxy-tutorial 关于节点状态检查

https://severalnines.com/blog/high-availability-read-write-splitting-php-mysqlnd-mysql-replication-and-haproxy  

http://www.th7.cn/db/mysql/201410/74544.shtml  关于读写分离

https://www.percona.com/live/mysql-conference-2013/sites/default/files/slides/PLUC_2013_GCBP.pdf  Galera最佳实践

http://lefred.be/content/mysql-group-replication-as-ha-solution/  MySQL GR与haproxy结合

https://www.percona.com/live/data-performance-conference-2016/sessions/high-availability-using-mysql-group-replication  MySQL GR

http://mysqlhighavailability.com/mysql-group-replication-a-quick-start-guide/ MySQL GR

https://www.digitalocean.com/community/tutorials/how-to-configure-a-galera-cluster-with-mariadb-10-1-on-ubuntu-16-04-servers Galera安装步骤

https://www.percona.com/blog/2014/09/01/galera-replication-how-to-recover-a-pxc-cluster/ 故障恢复