见http://www.showerlee.com/archives/698

这里介绍如何配合前者实现Keepalived双机热备

系统环境：CentOS 6.3 x64

MySQL版本：mysql-5.6.10

Keepalived版本：keepalived-1.2.7

MySQL-VIP：192.168.7.253

MySQL-master1：192.168.7.201

MySQL-master2：192.168.7.249

首先关闭iptables和SELINUX

# service iptables stop

# setenforce 0

# vi /etc/sysconfig/selinux

---------------

SELINUX=disabled

---------------

注: 若线上需要开启iptables,需加一条规则使keepalived的vrrp通行

# iptables -A INPUT -p vrrp -j ACCEPT

1.在MySQL-master1：192.168.7.201服务器上keepalived安装及配置

编译安装，实际以本机kernel版本为准

# wget http://www.keepalived.org/software/keepalived-1.2.7.tar.gz

# tar zxvf keepalived-1.2.7.tar.gz

# cd keepalived-1.2.7

# ./configure --prefix=/usr/local/keepalived --with-kernel-dir=/usr/src/kernels/2.6.32-279.el6.x86_64

# make && make install

设置keepalived开机启动脚本

# cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/

# cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/

# cp /usr/local/keepalived/sbin/keepalived /usr/sbin/

# chkconfig keepalived on

新建一个配置文件，默认keepalived启动会去/etc/keepalived目录下寻找配置文件

# mkdir /etc/keepalived

# vi /etc/keepalived/keepalived.conf

------------------

global_defs {

notification_email {

lzyangel@126.com

}

#当主、备份设备发生改变时，通过邮件通知

notification_email_from lzyangel@126.com

smtp_server stmp.126.com

smtp_connect_timeout 30

router_id MySQL-ha

}

vrrp_instance VI_1{

# 在初始化状态下定义为主设备

state BACKUP

# 注意网卡接口

interface eth0

virtual_router_id 51

# 优先级，另一台改为90

priority 100

advert_int 1

# 不主动抢占资源

nopreempt

authentication {

# 认证方式，可以是PASS或AH两种认证方式

auth_type PASS

# 认证密码

auth_pass 1111

}

virtual_ipaddress {

# 虚拟IP地址，随着state的变化而增加删除

192.168.7.253

}

}

virtual_server 192.168.7.253 3306 {

# 每个2秒检查一次real_server状态

delay_loop 2

# LVS算法

lb_algo wrr

# LVS模式

lb_kind DR

# 会话保持时间

persistence_timeout 60

protocol TCP

real_server 192.168.7.201 3306 {

# 权重

weight 3

# 检测到服务down后执行的脚本

notify_down /etc/rc.d/keepalived.sh

TCP_CHECK {

# 连接超时时间

connect_timeout 10

# 重连次数

nb_get_retry 3

# 重连间隔时间

delay_before_retry 3

# 健康检查端口

connect_port 3306

}

}

}

----------------------

编写检测服务down后所要执行的脚本

# vi /etc/rc.d/keepalived.sh

-------------

#!/bin/sh

/etc/init.d/keepalived stop

-------------

# chmod +x /etc/rc.d/keepalived.sh

注：此脚本是上面配置文件notify_down选项所用到的，keepalived使用notify_down选项来检查real_server的服务状态。

当发现real_server服务故障时，便触发此脚本.

我们可以看到，脚本就一个命令:

通过pkill keepalived强制杀死keepalived进程，从而实现了MySQL故障自动转移.

另外，我们不用担心两个MySQL会同时提供数据更新操作，因为每台MySQL上的keepalived的配置里面只有本机MySQL的IP+VIP，而不是两台MySQL的IP+VIP.

以上脚本是为了在测试环境实现VIP切换功能，生产环境建议使用如下脚本

---------------------------------

#!/bin/bash

# 环境变量

PATH=/bin:/usr/bin:/sbin:/usr/sbin; export PATH

# 暂停5秒执行，防止数据库人工正常重启

sleep 5

# mysql_id(存活=1 死掉=0)

mysql_id=`ps -C mysqld --noheader |wc -l`

# 判断mysql_id若死掉，则重启mysql一次，若仍然无法启动mysql则杀掉keepaliaved进程实现VIP切换

if [ $mysql_id -eq 0 ];then

/etc/init.d/mysqld restart

sleep 5

if [ $mysql_id -eq 0 ];then

/etc/init.d/keepalived stop

fi

fi

---------------------------------

启动keepalived

# /etc/init.d/keepalived start

查看连接状态

# ps -aux | grep keepalived

返回：

---------------

root 1387 1 0 21:13 ? 00:00:00 keepalived -D

root 1390 1387 0 21:13 ? 00:00:00 keepalived -D

root 1391 1387 0 21:13 ? 00:00:00 keepalived -D

root 1976 1911 0 21:16 pts/0 00:00:00 grep keepalived

--------------------

测试

查看VIP信息

# ip addr

--------------------------

............

inet 192.168.7.201/24 brd 192.168.7.255 scope global eth0

inet 192.168.7.253/32 scope global eth0

inet6 fe80::20c:29ff:feb2:9199/64 scope link

valid_lft forever preferred_lft forever

--------------------------

注:如果出现主从在切换VIP时，主的VIP未自动关闭，从的正常开启，导致都获取到VIP，造成互相冲突的情况，可手动输入如下命令删除一方的VIP地址

# ip addr del "虚拟ip" dev eth0

但此方法只是一个临时的解决方案，当手动删除VIP后，重启keepalived服务会无法正常开启vip，需要重启服务器方能恢复。

查看vrrp通信

# tcpdump vrrp

-------------------------

.....

18:10:56.365730 IP 192.168.7.201 > vrrp.mcast.net: VRRPv2, Advertisement, vrid 52, prio 40, authtype simple, intvl 1s, length 20

18:10:57.366825 IP 192.168.7.201 > vrrp.mcast.net: VRRPv2, Advertisement, vrid 52, prio 40, authtype simple, intvl 1s, length 20

18:10:58.367914 IP 192.168.7.201 > vrrp.mcast.net: VRRPv2, Advertisement, vrid 52, prio 40, authtype simple, intvl 1s, length 20

-------------------------

注:如果主keepalived挂掉，这里的日志会切换到备keeplived的信息

找一台局域网PC，然后去ping MySQL的VIP，这时候MySQL的VIP是可以ping的通的

停止MySQL服务，看keepalived健康检查程序是否会触发我们编写的脚本,去kill掉keepalived进程

# service mysqld stop

# ps -aux | grep keepalived

无返回结果

2.在MySQL-master2：192.168.7.249服务器上keepalived安装及配置

编译安装，实际以本机kernel版本为准

# wget http://www.keepalived.org/software/keepalived-1.2.7.tar.gz

# tar zxvf keepalived-1.2.7.tar.gz

# cd keepalived-1.2.7

# ./configure --prefix=/usr/local/keepalived --with-kernel-dir=/usr/src/kernels/2.6.32-279.el6.x86_64

# make && make install

设置keepalived开机启动脚本

# cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/

# cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/

# cp /usr/local/keepalived/sbin/keepalived /usr/sbin/

# chkconfig keepalived on

新建一个配置文件，默认keepalived启动会去/etc/keepalived目录下寻找配置文件

# mkdir /etc/keepalived

# vi /etc/keepalived/keepalived.conf

------------------

global_defs {

notification_email {

lzyangel@126.com

}

notification_email_from lzyangel@126.com

smtp_server stmp.126.com

smtp_connect_timeout 30

router_id MySQL-ha

}

vrrp_instance VI_1{

# 两台配置此处均是BACKUP

state BACKUP

# 注意网卡接口

interface eth0

virtual_router_id 51

# 优先级，另一台改为100

priority 90

advert_int 1

# 不主动抢占资源

nopreempt

authentication {

auth_type PASS

auth_pass 1111

}

virtual_ipaddress {

192.168.7.253

}

}

virtual_server 192.168.7.253 3306 {

# 每个2秒检查一次real_server状态

delay_loop 2

# LVS算法

lb_algo wrr

# LVS模式

lb_kind DR

# 会话保持时间

persistence_timeout 60

protocol TCP

real_server 192.168.7.249 3306 {

weight 3

# 检测到服务down后执行的脚本

notify_down /etc/rc.d/keepalived.sh

TCP_CHECK {

# 连接超时时间

connect_timeout 10

# 重连次数

nb_get_retry 3

# 重连间隔时间

delay_before_retry 3

# 健康检查端口

connect_port 3306

}

}

}

----------------------

编写检测服务down后所要执行的脚本

# vi /etc/rc.d/keepalived.sh

-------------

#!/bin/sh

/etc/init.d/keepalived stop

-------------

# chmod +x /etc/rc.d/keepalived.sh

启动keepalived

# /etc/init.d/keepalived start

查看连接状态

# ps -aux | grep keepalived

返回：

---------------

root 1387 1 0 21:13 ? 00:00:00 keepalived -D

root 1390 1387 0 21:13 ? 00:00:00 keepalived -D

root 1391 1387 0 21:13 ? 00:00:00 keepalived -D

root 1976 1911 0 21:16 pts/0 00:00:00 grep keepalived

--------------------

至此配置完成，网站后台只需要配置MySQL-VIP：192.168.7.253虚拟地址即可

这里实际连接的master数据库，以哪台master先开mysql服务为准。

当master1：192.168.7.201 mysql端口挡掉或者服务器异常关闭，keepalived会自动跳转到master2：192.168.7.249.

因为两台数据库的数据时同步的,用户访问的是MySQL-VIP：192.168.7.253虚拟地址，所以网站数据连接会无缝透明转接到master2服务

器，实现双机热备+数据同步功能。保证网站数据库的实时可用性。

注：当某一台master服务器挂掉恢复后，需同时打开MYSQL服务和keepalived服务，保证另一台服务器如果挂掉会无缝转接。

所以建议mysql与keeplived设置服务开机启动。

# chkconfig mysqld on

# chkconfig keepalived on

----------大功告成------------

注:在做此项配置之前首先要保证数据库当前无任何变动，建议同步前关闭WEB服务等影响数据库变动的服务 

当主1的数据库增加，删除，改变数据时，主2也会同步更新。

当主2的数据库增加，删除，改变数据时，主1也会同步更新。

这样就可以配合keepalived实现数据库双机热备+数据同步互备，大大提高了MYSQL的可靠性和安全性。

keepalived+MYSQL互备 

见http://www.showerlee.com/archives/702

主从复制结构，实际上可以实现两个功能：

1.从库充当主库的数据库备份实例

2.读写分离，主库负责正常读写数据，从库只负责读数据

实际生产环境，因为很多应用实际读数据库的次数远大于写数据库的次数，所以在项目开发初期，编写程序时做一个判断，对所有读的操作全部推到从库，若从库无法获取数据，则再向主库获取数据，从而在一定意义上实现读写分离，缓解主库的IO压力。

所以生产环境下推荐使用这种架构。

系统环境：centos6.3 x64

数据库：  mysql-5.6.10

mysql master:192.168.100.90

mysql slave:192.168.100.91

MySQL主从复制结构是基于mysql bin-log日志基础上，从库通过打开IO进程收到主库的bin-log日志增量信息,并保存到本地relay log,而后再通过打开MYSQL进程从relay log上获取的增量信息并翻译成SQL语句后写到从数据库。

主从复制结构，实际上可以实现两个功能：

1.从库充当主库的数据库备份实例

2.读写分离，主库负责正常读写数据，从库只负责读数据

实际生产环境，因为很多应用实际读数据库的次数远大于写数据库的次数，所以在项目开发初期，编写程序时做一个判断，对所有读的操作全部推到从库，若从库无法获取数据，则再向主库获取数据，从而在一定意义上实现读写分离，缓解主库的IO压力。

所以生产环境下推荐使用这种架构。

系统环境：centos6.3 x64

数据库：  mysql-5.6.10

mysql master:192.168.100.90

mysql slave:192.168.100.91

一.部署环境：

1.关闭iptables和SELINUX

# service iptables stop

# setenforce 0

# vi /etc/sysconfig/selinux

---------------

SELINUX=disabled

---------------

2.安装配置mysql传送门：http://www.showerlee.com/archives/6

二.主mysql配置:(mysql master)

修改mysql配置文件：

# vi /etc/my.cnf

添加：

-----------------

# Replication Master Server

# bin日志路径

log-bin = /usr/local/mysql/log/bin.log

# 服务器ID号

server-id = 1

# 忽略mysql系统库复制

binlog-ignore-db=mysql

binlog-ignore-db=information_schema

------------

重启服务

# service mysqld restart

登录mysql后台：

# mysql -u root -p123456

查看此刻登录账号：

> select user();

在master为slave添加同步帐号：

> grant replication slave on *.* to 'slave'@'192.168.100.91' identified by '123456';

查看创建的用户：

> select user.host from mysql.user;

查看权限：

> show grants for 'slave'@'192.168.100.91';

mysql锁表只读(其他账户登录mysql后无法进行写表操作，防止备份数据库后，主mysql表更新，导致和从数据库内容不一致)

> flush tables with read lock;

查看锁表倒计时时间：

> show variables like '%timeout%';

------------------------

....

wait_timeout                | 28800

------------------------

将master的数据库表全部备份导出，并传送到slave服务器上。

# /usr/local/mysql/bin/mysqldump -u root -p123456 --opt  --flush-logs  --all-database > /root/allbak.sql

# cd ~

# scp allbak.sql root@192.168.100.91:/root

查看mysql偏移量(数据库如果有写操作，偏移值会递增)

# mysql -u root -p123456 -e "show master status"

----------------------

+------------+----------+--------------+------------------+-------------------+

| File       | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |

+------------+----------+--------------+------------------+-------------------+

| bin.000009 |     120 |              |                  |                   |

+------------+----------+--------------+------------------+-------------------+

----------------------

保证FILE列和Position列与从库配置一致：

三.从mysql配置（mysql slave）

修改mysql配置文件：

# vi /etc/my.cnf

添加：

--------------------

# Replication Slave Server

# bin日志路径（无需开bin-log日志）

#log-bin = /usr/local/mysql/log/bin.log

server-id=2

# 只读：

read-only

# 忽略mysql系统库复制

binlog-ignore-db=mysql

binlog-ignore-db=information_schema

---------------------

重启服务

# service mysqld restart

恢复server的数据库到slave

#/usr/local/mysql/bin/mysql -u root -p123456 < /root/allbak.sql

配置连接同步到server端：

# mysql -u root -p123456;

> stop slave;

> reset slave;

> change master to master_host='192.168.100.90',master_user='slave',master_password='123456',master_log_file="bin.000009",master_log_pos= 120 ;

> start slave;

注：master_log_file表示从主数据库哪个bin-log文件开始同步                  

   master_log_pos表示从该bin-log文件哪条记录点开始同步

   需与主库偏移值保持同步

回到主mysql数据库解锁（mysql master）

# mysql -u root -p123456

> unlock tables;

最后登陆从mysql后台查看主从连接状态

# mysql -u root -p123456 -e "show slave status\G;"

找到这五行，如下则主从配置成功：

------------------------

Slave_IO_State: Waiting for master to send event

Slave_IO_Running: Yes

Slave_SQL_Running: Yes

Read_Master_Log_Pos: 120

Relay_Master_Log_File: bin.000009

-------------------------

四.测试主从是否同步：

(server)

# mysql -u root -p123456 -e "create database test02;"

# mysql -u root -p123456 -e "show databases like 'test02';"

------------

+-------------------+

| Database (test02) |

+-------------------+

| test02            |

+-------------------+

------------

(cilent)

# mysql -u root -p123456 -e "show databases like 'test02';"

-------------

+-------------------+

| Database (test02) |

+-------------------+

| test02            |

+-------------------+

-------------

测试成功。。

当server端的数据库数据发生变化时，client端会同步更新，从而实现主库备份和读写分离作用。

这里注意几点：

1.mysql从库中需在my.cnf配置文件中加入 read-only参数，保证从库只读。

# echo "read-only" >> /etc/my.cnf

2.忽略从库mysql与information_schema系统表同步

# echo "binlog-ignore-db=mysql" >> /etc/my.cnf

# echo "binlog-ignore-db=information_schema" >> /etc/my.cnf

生产环境主库用户的授权,授权增删改查权限。

> GRANT SELECT,INSERT,UPDATE,DELETE ON *.* to 'user'@'%' identified by '123456';

生产环境从库的授权,仅授权查权限。

> GRANT SELECT ON *.* to 'user'@'%' identified by '123456';

3.从库默认不开启bin-log日志功能，除非做下级从库级联同步，才需开启从库的bin-log日志。

4.主库由于硬件故障，如何将从库提升为主库(一主多从)

(mysql slave)

(1) 确保从机没有再同步的SQL语句，即出现Has read all relay log再关闭从库IO_Threat进程

# mysql -uroot -p123456

> stop slave IO_THREAD

(2) 关闭从库slave服务，然后将其提升为主库

> stop slave

> reset master

(3) 更换从库IP为故障主库IP(配置方法略)

(4) 删除新的主库master.info和relay-log.info,防止下次重启还会按照从库启动

# cd /usr/local/mysql/log

# rm -rf master.info relay-log.info

(5) 重新配置从库连接主库的账号同步信息，以及在下级从库重新设置偏移量保持与新的主库一致即可。

最后待主库硬件恢复，将其再设置为从库并更换为上述从库IP地址,完成主从切换。

五.配置脚本：

1.如果想实现无人值守备份主数据库，可添加如下脚本，并在凌晨执行定时任务：

# vi /etc/rc.d/mysql_bak.sh

---------------------

#!/bin/sh

MYSQL_USER=root

MYSQL_PW="123456"

LOG_PATH=/usr/local/mysql/log

DATA_PATH=/usr/local/mysql/data

LOG_FILE=${LOG_PATH}/mysqllog_`date +%F`.log

DATA_FILE=${DATA_PATH}/mysql_backup_`date +%F`.sql.gz

BIN_PATH=/usr/local/mysql/bin

MYSQL_CMD="$BIN_PATH/mysql -u$MYSQL_USER -p$MYSQL_PW"

MYSQL_DUMP="$BIN_PATH/mysqldump -u$MYSQL_USER -p$MYSQL_PW --opt --flush-logs  --all-database"

$MYSQL_CMD -e "flush tables with read lock;"

echo "-------show master status result-------" >> $LOG_FILE

$MYSQL_CMD -e "show master status" >> $LOG_FILE

${MYSQL_DUMP}|gzip > $DATA_FILE

$MYSQL_CMD -e "unlock tables"

mail -s "mysql slave log" 1234567@qq.com < $LOG_FILE

---------------------

凌晨3:30执行备份数据库操作：

# crontab -e

---------------------

30 3 * * * /bin/sh /etc/rc.d/mysql_bak.sh > /dev/mull 2>&1

---------------------

# service crond restart

2.如果想实现将主库备份的数据分发到从库，恢复从库数据库，以及开启从库功能，可添加如下脚本

注：这里建议主从先做好秘钥认证：

详见传送门：http://www.showerlee.com/archives/558

# vi /etc/rc.d/mysql_bak1.sh

------------------

#!/bin/sh

MYSQL_USER=root

MYSQL_PW="123456"

MYSQL_SLAVE_IP="192.168.100.91"

SSH_PATH="/usr/bin/ssh"

SSH_CMD="${SSH_PATH} ${MYSQL_SLAVE_IP}"

GZIP_CMD="/bin/gzip"

LOG_PATH=/usr/local/mysql/log

DATA_PATH=/usr/local/mysql/data

LOG_FILE=${LOG_PATH}/mysqllog_`date +%F`.log

DATA_FILE=${DATA_PATH}/mysql_backup_`date +%F`.sql.gz

BIN_PATH=/usr/local/mysql/bin

MYSQL_CMD="$BIN_PATH/mysql -u$MYSQL_USER -p$MYSQL_PW"

MYSQL_DUMP="$BIN_PATH/mysqldump -u$MYSQL_USER -p$MYSQL_PW --opt --flush-logs  --all-database"

$MYSQL_CMD -e "flush tables with read lock;"

echo "-------show master status result-------" >> $LOG_FILE

$MYSQL_CMD -e "show master status" >> $LOG_FILE

${MYSQL_DUMP}|gzip > $DATA_FILE

#config slave

cd ${DATA_PATH}

scp "mysql_backup_`date +%F`.sql.gz" $MYSQL_SLAVE_IP:/tmp/

${SSH_CMD} "${GZIP_CMD} -d /tmp/mysql_backup_`date +%F`.sql.gz"

${SSH_CMD} "${MYSQL_CMD} < /tmp/mysql_backup_`date +%F`.sql"

${SSH_CMD} "cat |$MYSQL_CMD" << EOF

stop slave;

change master to

master_host='192.168.100.90',

master_user='slave',

master_password='123456',

master_log_file="bin.000009",

master_log_pos= 120;

start slave;

EOF

$SSH_CMD $MYSQL_CMD -e "show slave status\G;"|egrep "IO_Running|SQL_Running" >> $LOG_FILE

$MYSQL_CMD -e "unlock tables"

mail -s "mysql slave log" 1234567@qq.com < $LOG_FILE

$SSH_CMD mail -s "mysql slave log" 1234567@qq.com < $LOG_FILE

------------------

mysql主从my.cnf参数配置:

--------------------------------

[mysqld]

port= 3306

datadir=/usr/local/mysql/data

socket=/var/lib/mysql/mysql.sock

user=mysql

symbolic-links=0

max_connections = 16384

skip-external-locking

skip-name-resolve

key_buffer_size = 256M

query_cache_limit = 1M

query_cache_size = 64M

max_allowed_packet = 4M

#table_cache = 8

thread_concurrency = 8

sort_buffer_size = 8M

read_buffer_size = 4M

read_rnd_buffer_size = 4M

net_buffer_length = 1M

thread_stack = 1M

log-error=/usr/local/mysql/log/error.log

log=/usr/local/mysql/log/mysql.log

long_query_time=2

log-slow-queries= /usr/local/mysql/log/slowquery.log

# 服务器ID号(主为1从为2)

server-id = 1

# 忽略mysql系统库复制

binlog-ignore-db=mysql

binlog-ignore-db=information_schema

log-bin = /usr/local/mysql/log/bin.log

#删除10天之前的二进制日志

expire_logs_days = 10

[mysqldump]

quick

max_allowed_packet = 16M

[mysql]

no-auto-rehash

#safe-updates

[isamchk]

key_buffer = 8M

sort_buffer_size = 8M

[myisamchk]

key_buffer = 8M

sort_buffer_size = 8M

[mysqlhotcopy]

interactive-timeout

--------------------------------

-------大功告成---------

最近准备更新点负载均衡高可用的文档，所以把之前一直想攻克的DRBD今天抽空给搞定了。

DRBD(Distributed Replicated Block Device) 我们可以理解为它其实就是个网络RAID-1,两台服务器间就算某台因断电或者宕机也不会对数据有任何影响，而真正的热切换可以通过Heartbeat方案解决，不需要人工干预。

例如：DRBD+Heartbeat+Mysql进行主从结构分离，作为DRBD+HeartBeat+NFS的备份存储解决方案。

--------------------废话不多说，开搞---------------------------

系统版本：centos6.3 x64（内核2.6.32）

DRBD：    DRBD-8.4.3

node1:   192.168.7.88（drbd1.example.com）

node2:   192.168.7.89 (drbd2.example.com)

(node1)为仅主节点配置

(node2)为仅从节点配置

(node1,node2)为主从节点共同配置

一.准备环境：(node1,node2)

1.关闭iptables和SELINUX，避免安装过程中报错。

# service iptables stop

# setenforce 0

# vi /etc/sysconfig/selinux

---------------

SELINUX=disabled

---------------

2.设置hosts文件

# vi /etc/hosts

-----------------

192.168.7.88    drbd1.example.com    drbd1

192.168.7.89    drbd2.example.com    drbd2

-----------------

3.在两台虚拟机分别添加一块2G硬盘sdb作为DRBD，分别分区为sdb1，大小1G，并在本地系统创建/data目录，不做挂载操作。

# fdisk /dev/sdb

----------------

n-p-1-1-"+1G"-w

----------------

# mkdir /data

4.时间同步：（重要）

# ntpdate -u asia.pool.ntp.org

5.更改主机名：

(node1)

# vi /etc/sysconfig/network

----------------

HOSTNAME=server.example.com

----------------

(node2)

# vi /etc/sysconfig/network

----------------

HOSTNAME=client.example.com

----------------

二.DRBD的安装配置：

1.安装依赖包：(node1,node2)

# yum install gcc gcc-c++ make glibc flex kernel-devel kernel-headers

2.安装DRBD：(node1,node2)

# wget http://oss.linbit.com/drbd/8.4/drbd-8.4.3.tar.gz

# tar zxvf drbd-8.4.3.tar.gz

# cd drbd-8.4.3

# ./configure --prefix=/usr/local/drbd --with-km

# make KDIR=/usr/src/kernels/2.6.32-279.el6.x86_64/

# make install

# mkdir -p /usr/local/drbd/var/run/drbd

# cp /usr/local/drbd/etc/rc.d/init.d/drbd /etc/rc.d/init.d

# chkconfig --add drbd

# chkconfig drbd on

加载DRBD模块:

# modprobe drbd

查看DRBD模块是否加载到内核：

# lsmod |grep drbd

3.参数配置：(node1,node2)

# vi /usr/local/drbd/etc/drbd.conf

清空文件内容，并添加如下配置：

---------------

resource r0{

protocol C;

startup { wfc-timeout 0; degr-wfc-timeout 120;}

disk { on-io-error detach;}

net{

  timeout 60;

  connect-int 10;

  ping-int 10;

  max-buffers 2048;

  max-epoch-size 2048;

}

syncer { rate 30M;}

on drbd1.example.com{

  device /dev/drbd0;

  disk   /dev/sdb1;

  address 192.168.7.88:7788;

  meta-disk internal;

}

on drbd2.example.com{

  device /dev/drbd0;

  disk   /dev/sdb1;

  address 192.168.7.89:7788;

  meta-disk internal;

}

}

---------------

4.创建DRBD设备并激活ro资源：(node1,node2)

# mknod /dev/drbd0 b 147 0

# drbdadm create-md r0

等待片刻，显示success表示drbd块创建成功

----------------

Writing meta data...

initializing activity log

NOT initializing bitmap

New drbd meta data block successfully created.

               --== Creating metadata ==--

As with nodes, we count the total number of devices mirrored by DRBD

at http://usage.drbd.org.

The counter works anonymously. It creates a random number to identify

the device and sends that random number, along with the kernel and

DRBD version, to usage.drbd.org.

http://usage.drbd.org/cgi-bin/insert_usage.pl?

nu=716310175600466686&ru=15741444353112217792&rs=1085704704

* If you wish to opt out entirely, simply enter 'no'.

* To continue, just press [RETURN]

success

----------------

再次输入该命令：

# drbdadm create-md r0

成功激活r0

----------------

[need to type 'yes' to confirm] yes

Writing meta data...

initializing activity log

NOT initializing bitmap

New drbd meta data block successfully created.

----------------

5.启动DRBD服务：(node1,node2)

# service drbd start

注：需要主从共同启动方能生效

6。查看状态：(node1,node2)

# cat /proc/drbd

----------------

# cat /proc/drbd

version: 8.4.3 (api:1/proto:86-101)

GIT-hash: 89a294209144b68adb3ee85a73221f964d3ee515 build by root@drbd1.example.com,

2013-05-27 20:45:19

0: cs:Connected ro:Secondary/Secondary ds:Inconsistent/Inconsistent C r-----

   ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:1060184

----------------

或

# service drbd status

----------------

drbd driver loaded OK; device status:

version: 8.4.3 (api:1/proto:86-101)

GIT-hash: 89a294209144b68adb3ee85a73221f964d3ee515 build by root@drbd1.example.com,

2013-05-27 20:45:19

m:res  cs         ro                   ds                         p  mounted  fstype

0:r0   Connected  Secondary/Secondary  Inconsistent/Inconsistent  C

----------------

这里ro:Secondary/Secondary表示两台主机的状态都是备机状态，ds是磁盘状态，显示的状态内容为“不一致”，这是因为DRBD无法判断哪一方为主机，应以哪一方的磁盘数据作为标准。

7.将drbd1.example.com主机配置为主节点：(node1)

# drbdsetup /dev/drbd0 primary --force

分别查看主从DRBD状态：

（node1)

# service drbd status

--------------------

drbd driver loaded OK; device status:

version: 8.4.3 (api:1/proto:86-101)

GIT-hash: 89a294209144b68adb3ee85a73221f964d3ee515 build by root@drbd1.example.com,

2013-05-27 20:45:19

m:res  cs         ro                 ds                 p  mounted  fstype

0:r0   Connected  Primary/Secondary  UpToDate/UpToDate  C

---------------------

（node2)

# service drbd status

---------------------

drbd driver loaded OK; device status:

version: 8.4.3 (api:1/proto:86-101)

GIT-hash: 89a294209144b68adb3ee85a73221f964d3ee515 build by root@drbd2.example.com,

2013-05-27 20:49:06

m:res  cs         ro                 ds                 p  mounted  fstype

0:r0   Connected  Secondary/PrimaryUpToDate/UpToDate  C

---------------------

ro在主从服务器上分别显示 Primary/Secondary和Secondary/Primary

ds显示UpToDate/UpToDate

表示主从配置成功。

8.挂载DRBD：(node1)

从刚才的状态上看到mounted和fstype参数为空，所以我们这步开始挂载DRBD到系统目录

# mkfs.ext4 /dev/drbd0

# mount /dev/drbd0 /data

注：Secondary节点上不允许对DRBD设备进行任何操作，包括只读，所有的读写操作只能在Primary节点上进行，只有当Primary节点挂掉时，Secondary节点才能提升为Primary节点继续工作。

9.模拟DRBD1故障，DRBD2接管并提升为Primary

(node1)

# cd /data

# touch 1 2 3 4 5

# cd ..

# umount /data

# drbdsetup /dev/drbd0 secondary

注：这里实际生产环境若DRBD1宕机，在DRBD2状态信息中ro的值会显示为Secondary/Unknown,只需要进行DRBD提权操作即可。

(node2)

# drbdsetup /dev/drbd0 primary

#  mount  /dev/drbd0 /data

# cd /data

# touch 6 7 8 9 10

# ls

--------------

1  10  2  3  4  5  6  7  8  9  lost+found

--------------

# service drbd status

--------------

drbd driver loaded OK; device status:

version: 8.4.3 (api:1/proto:86-101)

GIT-hash: 89a294209144b68adb3ee85a73221f964d3ee515 build by root@drbd2.example.com,

2013-05-27 20:49:06

m:res  cs         ro                 ds                 p  mounted  fstype

0:r0   Connected  Primary/Secondary  UpToDate/UpToDate  C  /data    ext4

--------------

(node1)

# service drbd status

---------------

drbd driver loaded OK; device status:

version: 8.4.3 (api:1/proto:86-101)

GIT-hash: 89a294209144b68adb3ee85a73221f964d3ee515 build by root@drbd1.example.com,

2013-05-27 20:45:19

m:res  cs         ro                 ds                 p  mounted  fstype

0:r0   Connected  Secondary/Primary  UpToDate/UpToDate  C

---------------

DRBD大功告成。。。

不过如何保证DRBD主从结构的智能切换，实现高可用，这里就需要Heartbeat来实现了。

Heartbeat会在DRBD主端挂掉的情况下，自动切换从端为主端并自动挂载/data分区。

注：（摘自酒哥的构建高可用LINUX服务器第2版）

假设你把Primary的eth0挡掉，然后直接在Secondary上进行主Primary主机的提升，并且mount上，你可能会发现在Primary上测试考入的文件确实同步过来了，之后把Primary的eth0恢复后，看看有没有自动恢复 主从关系。经过查看，发现DRBD检测出了Split-Brain的状况，也就是两个节点都处于standalone状态，故障描述如下：Split-Brain detected,dropping connection! 这就是传说中的“脑裂”。

这里是DRBD官方推荐的手动恢复方案：

(node2)

# drbdadm secondary r0

# drbdadm disconnect all

# drbdadm --discard-my-data connect r0

(node1)

# drbdadm disconnect all

# drbdadm connect r0

# drbdsetup /dev/drbd0 primary

这里本人实际模拟的是将Primary端重启，然后立即进行Secondary提权操作，待Primary端重启完毕，将其降权，查看两边的status，结果都为standalone状态，很奇怪的也出现“脑裂”情况，不知道是什么情况？有经验的朋友可以帮忙指点一下。

DRBD+HeartBeat+NFS传送门：http://www.showerlee.com/archives/293

这里首先感谢酒哥的构建高可用的Linux服务器的这本书，看了这本书上并参考里面的配置让自己对DRBD+HeartBeat+NFS思路清晰了许多。

drbd简单来说就是一个网络raid-1,一般有2到多个node节点，各个节点创建的磁盘块会映射到本地drbd块，而后通过网络对各个节点drbd磁盘块进行互相同步更新。

heartbeat的作用就可以增加drbd的可用性，它能在某节点故障后，自动切换drbd块到备份节点，并自动进行虚IP从新绑定，DRBD块提权，磁盘挂载以及启动NFS等脚本操作，这一系列操作因为只在他后端节点间完成，前端用户访问的是heartbeat的虚IP，所以对用户来说无任何感知。

最后吐槽下，yum安装真心坑爹，以后如果非必须，尽量源码包安装。

---------------开   搞----------------

系统版本： centos6.3 x64（内核2.6.32）

DRBD：     DRBD-8.4.3

HeartBeat：epel更新源（真坑）

NFS:       系统自带

HeartBeat VIP:    192.168.7.90

node1 DRBD+HeartBeat:     192.168.7.88（drbd1.example.com）

node2 DRBD+HeartBeat:   192.168.7.89 (drbd2.example.com)

(node1)为仅主节点端配置

(node2)为仅从节点端配置

(node1,node2)为主从节点都需配置

一.DRBD配置，传送门：http://www.showerlee.com/archives/295

二.Hearbeat配置；

这里接着DRBD系统环境及安装配置：

1.安装heartbeat（CentOS6.3中默认不带有Heartbeat包，因此需要从第三方下载）(node1,node2)

# wget ftp://mirror.switch.ch/pool/1/mirror/scientificlinux/6rolling/i386/os/Packages/epel-release-6-5.noarch.rpm

# rpm -ivUh epel-release-6-5.noarch.rpm

# yum --enablerepo=epel install heartbeat -y

2.配置heartbeat

(node1）

# vi /etc/ha.d/ha.cf

---------------

# 日志

logfile         /var/log/ha-log

logfacility     local0

# 心跳监测时间

keepalive       2

# 死亡时间

deadtime        5

# 指定对方IP：

ucast           eth0 192.168.7.89

# 服务器正常后由主服务器接管资源，另一台服务器放弃该资源

auto_failback   off

#定义节点

node            drbd1.example.com drbd2.example.com

---------------

（node2)

# vi /etc/ha.d/ha.cf

---------------

# 日志

logfile         /var/log/ha-log

logfacility     local0

# 心跳监测时间

keepalive       2

# 死亡时间

deadtime        5

# 指定对方IP：

ucast           eth0 192.168.7.88

# 服务器正常后由主服务器接管资源，另一台服务器放弃该资源

auto_failback   off

#定义节点

node            drbd1.example.com drbd2.example.com

---------------

编辑双机互联验证文件：(node1,node2)

# vi /etc/ha.d/authkeys

--------------

auth 1

1 crc

--------------

# chmod 600 /etc/ha.d/authkeys

编辑集群资源文件：(node1,node2)

# vi /etc/ha.d/haresources

--------------

drbd1.example.com IPaddr::192.168.7.90/24/eth0 drbddisk::r0 Filesystem::/dev/drbd0::/data::ext4 killnfsd

--------------

注：该文件内IPaddr,Filesystem等脚本存放路径在/etc/ha.d/resource.d/下,也可在该目录下存放服务启动脚本（例如：mysql,www）,将相同脚本名称添加到/etc/ha.d/haresources内容中，从而跟随heartbeat启动而启动该脚本。

IPaddr::192.168.7.90/24/eth0：用IPaddr脚本配置浮动VIP

drbddisk::r0：用drbddisk脚本实现DRBD主从节点资源组的挂载和卸载

Filesystem::/dev/drbd0::/data::ext4：用Filesystem脚本实现磁盘挂载和卸载

编辑脚本文件killnfsd,用来重启NFS服务：

注：因为NFS服务切换后，必须重新mount NFS共享出来的目录，否则会报错（待验证）

# vi /etc/ha.d/resource.d/killnfsd

-----------------

killall -9 nfsd; /etc/init.d/nfs restart;exit 0

-----------------

赋予执行权限：

# chmod 755 /etc/ha.d/resource.d/killnfsd

创建DRBD脚本文件drbddisk:(node1,node2)

注：

此处又是一个大坑，如果不明白Heartbeat目录结构的朋友估计要在这里被卡到死，因为默认yum安装Heartbeat，不会在/etc/ha.d/resource.d/创建drbddisk脚本，而且也无法在安装后从本地其他路径找到该文件。

此处本人也是因为启动Heartbeat后无法PING通虚IP，最后通过查看/var/log/ha-log日志，找到一行

ERROR: Cannot locate resource script drbddisk

然后进而到/etc/ha.d/resource.d/路径下发现竟然没有drbddisk脚本，最后在google上找到该代码，创建该脚本，终于测试通过：

# vi /etc/ha.d/resource.d/drbddisk

-----------------------

#!/bin/bash

#

# This script is inteded to be used as resource script by heartbeat

#

# Copright 2003-2008 LINBIT Information Technologies

# Philipp Reisner, Lars Ellenberg

#

###

DEFAULTFILE="/etc/default/drbd"

DRBDADM="/sbin/drbdadm"

if [ -f $DEFAULTFILE ]; then

 . $DEFAULTFILE

fi

if [ "$#" -eq 2 ]; then

 RES="$1"

 CMD="$2"

else

 RES="all"

 CMD="$1"

fi

## EXIT CODES

# since this is a "legacy heartbeat R1 resource agent" script,

# exit codes actually do not matter that much as long as we conform to

#  http://wiki.linux-ha.org/HeartbeatResourceAgent

# but it does not hurt to conform to lsb init-script exit codes,

# where we can.

#  http://refspecs.linux-foundation.org/LSB_3.1.0/

#LSB-Core-generic/LSB-Core-generic/iniscrptact.html

####

drbd_set_role_from_proc_drbd()

{

local out

if ! test -e /proc/drbd; then

ROLE="Unconfigured"

return

fi

dev=$( $DRBDADM sh-dev $RES )

minor=${dev#/dev/drbd}

if [[ $minor = *[!0-9]* ]] ; then

# sh-minor is only supported since drbd 8.3.1

minor=$( $DRBDADM sh-minor $RES )

fi

if [[ -z $minor ]] || [[ $minor = *[!0-9]* ]] ; then

ROLE=Unknown

return

fi

if out=$(sed -ne "/^ *$minor: cs:/ { s/:/ /g; p; q; }" /proc/drbd); then

set -- $out

ROLE=${5%/**}

: ${ROLE:=Unconfigured} # if it does not show up

else

ROLE=Unknown

fi

}

case "$CMD" in

   start)

# try several times, in case heartbeat deadtime

# was smaller than drbd ping time

try=6

while true; do

$DRBDADM primary $RES && break

let "--try" || exit 1 # LSB generic error

sleep 1

done

;;

   stop)

# heartbeat (haresources mode) will retry failed stop

# for a number of times in addition to this internal retry.

try=3

while true; do

$DRBDADM secondary $RES && break

# We used to lie here, and pretend success for anything != 11,

# to avoid the reboot on failed stop recovery for "simple

# config errors" and such. But that is incorrect.

# Don't lie to your cluster manager.

# And don't do config errors...

let --try || exit 1 # LSB generic error

sleep 1

done

;;

   status)

if [ "$RES" = "all" ]; then

   echo "A resource name is required for status inquiries."

   exit 10

fi

ST=$( $DRBDADM role $RES )

ROLE=${ST%/**}

case $ROLE in

Primary|Secondary|Unconfigured)

# expected

;;

*)

# unexpected. whatever...

# If we are unsure about the state of a resource, we need to

# report it as possibly running, so heartbeat can, after failed

# stop, do a recovery by reboot.

# drbdsetup may fail for obscure reasons, e.g. if /var/lock/ is

# suddenly readonly.  So we retry by parsing /proc/drbd.

drbd_set_role_from_proc_drbd

esac

case $ROLE in

Primary)

echo "running (Primary)"

exit 0 # LSB status "service is OK"

;;

Secondary|Unconfigured)

echo "stopped ($ROLE)"

exit 3 # LSB status "service is not running"

;;

*)

# NOTE the "running" in below message.

# this is a "heartbeat" resource script,

# the exit code is _ignored_.

echo "cannot determine status, may be running ($ROLE)"

exit 4 #  LSB status "service status is unknown"

;;

esac

;;

   *)

echo "Usage: drbddisk [resource] {start|stop|status}"

exit 1

;;

esac

exit 0

-----------------------

赋予执行权限：

# chmod 755 /etc/ha.d/resource.d/drbddisk

在两个节点上启动HeartBeat服务，先启动node1：(node1,node2)

# service heartbeat start

# chkconfig heartbeat on

这里能够PING通虚IP 192.168.7.90，表示配置成功

三.配置NFS:(node1,node2)

# vi /etc/exports

-----------------

/data        *(rw,no_root_squash)

-----------------

重启NFS服务：

# service rpcbind restart

# service nfs restart

# chkconfig rpcbind on

# chkconfig nfs off

这里设置NFS开机不要自动运行，因为/etc/ha.d/resource.d/killnfsd 该脚本内容控制NFS的启动。

四.最终测试

在另外一台LINUX的客户端挂载虚IP：192.168.7.90，挂载成功表明NFS+DRBD+HeartBeat大功告成.

# mount -t nfs 192.168.7.90:/data /tmp

# df -h

---------------

......

192.168.7.90:/data   1020M   34M  934M   4% /tmp

---------------

测试DRBD+HeartBeat+NFS可用性：

1.向挂载的/tmp目录传送文件，忽然重新启动主端DRBD服务，查看变化

经本人测试能够实现断点续传

2.正常状态重启Primary主机后，观察主DRBD状态是否恢复Primary并能正常被客户端挂载并且之前写入的文件存在，可以正常再写入文件。

经本人测试可以正常恢复，且客户端无需重新挂载NFS共享目录，之前数据存在，且可直接写入文件。

3.当Primary主机因为硬件损坏或其他原因需要关机维修，需要将Secondary提升为Primary主机，如何手动操作？

如果设备能够正常启动则按照如下操作，无法启动则强行提升Secondary为Primary，待宕机设备能够正常启动，若“脑裂”，再做后续修复工作。

首先先卸载客户端挂载的NFS主机目录

# umount /tmp

(node1)

卸载DRBD设备：

# service nfs stop

# umount /data

降权：

# drbdadm secondary r0

查看状态，已降权

# service drbd status

-----------------

drbd driver loaded OK; device status:

version: 8.4.3 (api:1/proto:86-101)

GIT-hash: 89a294209144b68adb3ee85a73221f964d3ee515 build by root@drbd1.example.com, 2013-05-27 20:45:19

m:res  cs         ro                   ds                 p  mounted  fstype

0:r0   Connected  Secondary/Secondary  UpToDate/UpToDate  C

-----------------

(node2)

提权：

# drbdadm primary r0

查看状态，已提权：

# service drbd status

----------------

drbd driver loaded OK; device status:

version: 8.4.3 (api:1/proto:86-101)

GIT-hash: 89a294209144b68adb3ee85a73221f964d3ee515 build by root@drbd2.example.com, 2013-05-27 20:49:06

m:res  cs         ro                 ds                 p  mounted  fstype

0:r0   Connected  Primary/Secondary  UpToDate/UpToDate  C

----------------

这里还未挂载DRBD目录，让Heartbeat帮忙挂载：

注：若重启过程中发现Heartbeat日志报错：

ERROR: glib: ucast: error binding socket. Retrying: Permission denied

请检查selinux是否关闭

# service heartbeat restart

# service drbd status

-----------------------

drbd driver loaded OK; device status:

version: 8.4.3 (api:1/proto:86-101)

GIT-hash: 89a294209144b68adb3ee85a73221f964d3ee515 build by root@drbd2.example.com, 2013-05-27 20:49:06

m:res  cs         ro                 ds                 p  mounted  fstype

0:r0   Connected  Primary/Secondary  UpToDate/UpToDate  C  /data    ext4

------------------------

成功让HeartBeat挂载DRBD目录

重新在客户端做NFS挂载测试：

# mount -t nfs 192.168.7.90:/data /tmp

# ll /tmp

------------------

1  10  2  2222  3  4  5  6  7  8  9  lost+found  orbit-root

------------------

重启刚刚被提权的主机，待重启查看状态：

# service drbd status

------------------------

drbd driver loaded OK; device status:

version: 8.4.3 (api:1/proto:86-101)

GIT-hash: 89a294209144b68adb3ee85a73221f964d3ee515 build by root@drbd2.example.com, 2013-05-27 20:49:06

m:res  cs            ro               ds                 p  mounted  fstype

0:r0   WFConnection  Primary/Unknown  UpToDate/DUnknown  C  /data    ext4

------------------------

HeartBeat成功挂载DRBD目录，drbd无缝连接到备份节点，客户端使用NFS挂载点对故障无任何感知。

4.测试最后刚才那台宕机重新恢复正常后，他是否会从新夺取Primary资源？

重启后不会重新获取资源，需手动切换主从权限方可。

注：vi /etc/ha.d/ha.cf配置文件内该参数：

--------------------

auto_failback   off

--------------------

表示服务器正常后由新的主服务器接管资源，另一台旧服务器放弃该资源

5.以上都未利用heartbeat实现故障自动转移，当线上DRBD主节点宕机，备份节点是否立即无缝接管，heartbeat+drbd高可用性是否能够实现？

首先先在客户端挂载NFS共享目录

# mount -t nfs 192.168.7.90:/data /tmp

a.模拟将主节点node1 的heartbeat服务停止，则备节点node2是否接管服务？

(node1)

# service drbd status

----------------------------

drbd driver loaded OK; device status:

version: 8.4.3 (api:1/proto:86-101)

GIT-hash: 89a294209144b68adb3ee85a73221f964d3ee515 build by root@drbd1.example.com, 2013-05-27 20:45:19

m:res  cs         ro                 ds                 p  mounted  fstype

0:r0   Connected  Primary/Secondary  UpToDate/UpToDate  C  /data    ext4

----------------------------

# service heartbeat stop

(node2)

# service drbd status

----------------------------------------

drbd driver loaded OK; device status:

version: 8.4.3 (api:1/proto:86-101)

GIT-hash: 89a294209144b68adb3ee85a73221f964d3ee515 build by root@drbd2.example.com, 2013-05-27 20:49:06

m:res  cs         ro                 ds                 p  mounted  fstype

0:r0   Connected  Primary/Secondary  UpToDate/UpToDate  C  /data    ext4

-----------------------------------------

从机无缝接管，测试客户端是否能够使用NFS共享目录

# cd /tmp

# touch test01

# ls test01

------------------

test01

------------------

测试通过。。。

b.模拟将主节点宕机（直接强行关机），则备节点node2是否接管服务？

(node1)

强制关机,直接关闭node1虚拟机电源

(node2)

# service drbd status

-------------------------------

drbd driver loaded OK; device status:

version: 8.4.3 (api:1/proto:86-101)

GIT-hash: 89a294209144b68adb3ee85a73221f964d3ee515 build by root@drbd2.example.com, 2013-05-27 20:49:06

m:res  cs            ro               ds                 p  mounted  fstype

0:r0   WFConnection  Primary/Unknown  UpToDate/DUnknown  C  /data    ext4

-------------------------------

从机无缝接管，测试客户端是否能够使用NFS共享目录

# cd /tmp

# touch test02

# ls test02

------------------

test02

------------------

待node1恢复启动，查看drbd状态信息：

# service drbd status

------------------------------

drbd driver loaded OK; device status:

version: 8.4.3 (api:1/proto:86-101)

GIT-hash: 89a294209144b68adb3ee85a73221f964d3ee515 build by root@drbd2.example.com, 2013-05-27 20:49:06

m:res  cs         ro                 ds                 p  mounted  fstype

0:r0   Connected  Primary/Secondary  UpToDate/UpToDate  C  /data    ext4

-------------------------------

node1已连接上线，处于UpToDate状态，测试通过。。。

注：这里node1的heartbeat有几率在关闭服务时，node2无法接管,所以有一定维护成本，因为本人线上未跑该服务，建议实际使用在上线前多做模拟故障演练，再实际上线。

-------大功告成----------

参考：酒哥的“构建高可用LINUX服务器”一书

keepalived它作为一个辅助实现高可用性工具，一般都会配合某个具体服务工作，例如mysql,drbd，haproxy等，本篇介绍的就是haproxy,在前期做好keepalived配置后，做一个切换脚本，当haproxy挂掉后，脚本会立即执行keepalived关闭操作，从而让从机接管,该虚IP其实会和本机的物理IP做绑定，访问虚IP其实就可以理解为访问本机物理IP，该虚IP会在脚本被触发后切换到从机，而后访问虚IP也就是在访问从机物理IP，从而实现haproxy的高可用性。

这个实验模拟的功能其实就是利用haproxy实现apache服务器间的负载均衡，缓解并发压力，并保证haproxy-master若挂掉,haproxy-backup能无缝接管，实现WEB站点负载均衡+高可用性。保证客户端无缝获取网站资源。

解决方案：

系统环境：centos6.3

apache: httpd-2.4.4

haproxy: haproxy-1.4.8

keepalived：keepalived-1.2.7

haproxy VIP:                  192.168.7.70

haproxy-master(haproxy1):     192.168.7.71    ha1.example.com

haproxy-backup(haproxy2):     192.168.7.72    ha2.example.com

apache1:                      192.168.7.73    www1.example.com

apache2:                      192.168.7.74    www2.example.com

(haproxy1)为仅haproxy1配置

(haproxy2)为仅haproxy2配置

(haproxy1，haproxy2)为haproxy1和haproxy2都得配置

部署环境：

1.关闭iptables和SELINUX

# service iptables stop

# setenforce 0

# vi /etc/sysconfig/selinux

---------------

SELINUX=disabled

---------------

2.apache安装

配置详见传送门：http://www.showerlee.com/archives/6

注：haproxy+keepalived其实搭配nginx效果也不错，本人线上因为长期使用apache，所以这篇博文就以apache介绍为主。

安装完毕只需配置客户端浏览器访问根页面显示本机IP地址。

一.haproxy安装配置：(haproxy1，haproxy2)

# wget http://haproxy.1wt.eu/download/1.4/src/haproxy-1.4.8.tar.gz

# tar zxvf haproxy-1.4.8.tar.gz

# cd haproxy-1.4.8

# uname -a           //查看linux内核版本

# make TARGET=linux26 PREFIX=/usr/local/haproxy

# make install PREFIX=/usr/local/haproxy

# useradd -s /sbin/nologin haproxy

# passwd haproxy

# chown -R haproxy.haproxy /usr/local/haproxy

配置：

# vi /usr/local/haproxy/haproxy.cfg

-----------------

global

log 127.0.0.1 local0

maxconn 5120  

chroot /usr/local/haproxy  

user haproxy  

group haproxy  

daemon  

quiet  

nbproc  1  

pidfile /usr/local/haproxy/haproxy.pid

#启动服务后后会滚动日志，生产环境建议注释掉

debug  

defaults

log 127.0.0.1 local3  

mode http  

option httplog

option httpclose

option  dontlognull

#option  forwardfor  

option  redispatch

retries 2

maxconn 2000

balance source  

contimeout      5000  

clitimeout      50000  

srvtimeout      50000  

listen web_proxy :80

     server www1  192.168.7.73:80  weight 5 check inter 2000 rise 2 fall 5

     server www2  192.168.7.74:80  weight 5 check inter 2000 rise 2 fall 5

listen stats :8888  

mode http  

#transparent  

stats uri / haproxy-stats  

stats realm Haproxy \ statistic

#认证  

stats auth haproxy:password  

-----------------

启动haproxy

# /usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/haproxy.cfg &

注：这里加上“&”是为了让haproxy服务后台运行，去掉“&”可实时查看其滚动日志

日志：

------------------------

Available polling systems :

    sepoll : pref=400,  test result OK

     epoll : pref=300,  test result OK

      poll : pref=200,  test result OK

    select : pref=150,  test result OK

Total: 4 (4 usable), will use sepoll.

Using sepoll() as the polling mechanism.

00000000:web_proxy.accept(0004)=0007 from [192.168.7.129:5752]

00000000:web_proxy.clireq[0007:ffff]: GET / HTTP/1.1

00000000:web_proxy.clihdr[0007:ffff]: Accept: text/html, application/xhtml+xml, */*

00000000:web_proxy.clihdr[0007:ffff]: Accept-Language: zh-CN

00000000:web_proxy.clihdr[0007:ffff]: User-Agent: Mozilla/5.0 (compatible; MSIE

9.0; Windows NT 6.1; WOW64; Trident/5.0)

00000000:web_proxy.clihdr[0007:ffff]: Accept-Encoding: gzip, deflate

00000000:web_proxy.clihdr[0007:ffff]: Host: 192.168.7.71

00000000:web_proxy.clihdr[0007:ffff]: If-Modified-Since: Tue, 28 May 2013 18:22:10

GMT

00000000:web_proxy.clihdr[0007:ffff]: If-None-Match: "10-4ddcb57ecf1ee"

00000000:web_proxy.clihdr[0007:ffff]: Connection: Keep-Alive

00000000:web_proxy.srvrep[0007:0008]: HTTP/1.1 304 Not Modified

00000000:web_proxy.srvhdr[0007:0008]: Date: Tue, 28 May 2013 19:48:35 GMT

00000000:web_proxy.srvhdr[0007:0008]: Server: Apache/2.4.4 (Unix)

00000000:web_proxy.srvhdr[0007:0008]: Connection: close

00000000:web_proxy.srvhdr[0007:0008]: ETag: "10-4ddcb57ecf1ee"

00000000:web_proxy.srvcls[0007:0008]

00000000:web_proxy.clicls[0007:0008]

00000000:web_proxy.closed[0007:0008]

------------------------

查看是否启动

# ps -ef|grep haproxy

--------------------------

haproxy   2255     1  0 03:33 ?        00:00:00 /usr/local/haproxy/sbin/haproxy -f

/usr/local/haproxy/haproxy.cfg

root      2323  2291  0 03:56 pts/1    00:00:00 grep haproxy

--------------------------

重启haproxy

# pkill haproxy

# /usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/haproxy.cfg

其中：

haproxy代理：192.168.7.71:80

apache1：    192.168.7.73:80

apache2：    192.168.7.74:80

统计页面监听的端口：8888

访问页面：

http://192.168.7.71:8888/haproxy-stats

认证账号/密码：haproxy/password

总结：

    通过日志可以看出，客户端192.168.7.129连接haproxy192.168.7.71的80端口，且客户端无论如何刷新页面，haproxy都只会把访问请求跳转到apache2的192.168.7.74地址，这是因为balance source这个参数会保持会话ID,如果改成balance roundrobin模式，那么客户端会轮流连接两台web服务器，线上还是建议使用balance source,这样会保持某一客户端在长时间内保持他的会话，不会来回跳转。

    这里其实已经利用haproxy完成了对两台apache服务器的负载均衡功能，但如何保证负载均衡的高可用性，这里就得利用keepalived的热备功能，保证haproxy1如果挂掉，haproxy2能实时接管，实现网站前端负载均衡高可用，这也是我们目前比较流行的组合haproxy+keepalived。

二.keepalived安装配置：(haproxy1，haproxy2）

# wget http://www.keepalived.org/software/keepalived-1.2.7.tar.gz

# tar zxvf keepalived-1.2.7.tar.gz

# cd keepalived-1.2.7

# ./configure --prefix=/usr/local/keepalived --with-kernel-

dir=/usr/src/kernels/2.6.32-279.el6.x86_64

# make && make install

设置keepalived启动脚本

# cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/

# cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/

# mkdir /etc/keepalived

# cp /usr/local/keepalived/sbin/keepalived /usr/sbin/

# chkconfig keepalived on

(haproxy1）

# vi /etc/keepalived/keepalived.conf

----------------------

! Configuration File for keepalived

global_defs {

router_id LVS_DEVEL

}

vrrp_instance VI_1 {

state MASTER

interface eth0

virtual_router_id 51

priority 150

advert_int 1

authentication {

auth_type PASS

auth_pass 1111

}

virtual_ipaddress {

192.168.7.70

}

}

----------------------

(haproxy2）

# vi /etc/keepalived/keepalived.conf

----------------------

! Configuration File for keepalived

global_defs {

router_id LVS_DEVEL

}

vrrp_instance VI_1 {

state BACKUP

interface eth0

virtual_router_id 51

priority 120

advert_int 1

authentication {

auth_type PASS

auth_pass 1111

}

virtual_ipaddress {

192.168.7.70

}

}

----------------------

启动keepalived

# service keepalived start

# ps -ef |grep keepalived

----------------------

root      1726  1722  0 10:57 ?        00:00:00 sh /etc/keepalived/check_haproxy.sh

root      2678     1  0 11:15 ?        00:00:00 keepalived -D

root      2680  2678  0 11:15 ?        00:00:00 keepalived -D

root      2681  2678  0 11:15 ?        00:00:00 keepalived -D

root      2691  2178  0 11:15 pts/1    00:00:00 grep keepalived

-----------------------

创建haproxy+keepalived脚本：

实现当haproxy挂掉后，能再次启动haproxy,若无法再次启动则彻底关闭keepalived将VIP交给

从机处理。

(haproxy1，haproxy2）

# vi /etc/keepalived/check_haproxy.sh

---------------------

#!/bin/bash

while :

do

hapid=`ps -C haproxy --no-header |wc -l`

  if [ $hapid -eq 0 ];then

  /usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/haproxy.cfg

  sleep 5

    if [ $hapid -eq 0 ];then

    /etc/init.d/keepalived stop

    fi

  fi

  sleep 5

done

--------------------

改执行权限

# chmod 755 /etc/keepalived/check_haproxy.sh

强制后台执行（关闭客户端连接也会继续运行）

# nohup sh /etc/keepalived/check_haproxy.sh

注；该脚本参考酒哥的"构建高可用LINUX服务器"一书，需在keepalived开机正常启动后，方可在主从机执行。

本人实测，不能将该脚本做开机启动，会导致开机将keepalived服务关闭，如想实现开机自动执行该脚本，估计要做脚本语句优化，这里有兴趣的朋友可以帮忙修改一下。

三.测试：

1.在两台机器上分别执行ip add，目前显示VIP在haproxy1上与本机网卡绑定

(haproxy1）

# ip add

-----------------------

eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen

1000

   link/ether 00:0c:29:d2:c6:75 brd ff:ff:ff:ff:ff:ff

   inet 192.168.7.71/24 brd 192.168.7.255 scope global eth0

   inet 192.168.7.70/32 scope global eth0

   inet6 fe80::20c:29ff:fed2:c675/64 scope link

      valid_lft forever preferred_lft forever

-----------------------

(haproxy2）

# ip add

-----------------------

eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen

1000

   link/ether 00:0c:29:ff:21:19 brd ff:ff:ff:ff:ff:ff

   inet 192.168.7.72/24 brd 192.168.7.255 scope global eth0

   inet6 fe80::20c:29ff:feff:2119/64 scope link

      valid_lft forever preferred_lft forever

-----------------------

在浏览器访问该虚IP:

http://192.168.7.70

返回如图：

证明，keepalived让haproxy1接管负载均衡，将页面跳转到apache2上

2.停掉haproxy1上的haproxy服务，5秒后keepalived会自动将其再次启动

（haproxy1）

# pkill haproxy

等5秒

# ps -ef |grep haproxy

--------------

root      1712  1708  0 01:17 ?        00:00:00 sh /etc/keepalived/check_haproxy.sh

haproxy   2440     1  0 01:29 ?        00:00:00 /usr/local/haproxy/sbin/haproxy -f

/usr/local/haproxy/haproxy.cfg

root      2443  1807  0 01:29 pts/1    00:00:00 grep haproxy

--------------

3.停掉主的keepalived，备机马上接管服务

（haproxy1）

# service keepalived stop

# uname -a

---------------

Linux ha1.example.com 2.6.32-279.el6.x86_64 #1 SMP Fri Jun 22 12:19:21 UTC 2012

x86_64 x86_64 x86_64 GNU/Linux

---------------

（haproxy2）

# ip add

eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen

1000

   link/ether 00:0c:29:ff:21:19 brd ff:ff:ff:ff:ff:ff

   inet 192.168.7.72/24 brd 192.168.7.255 scope global eth0

   inet 192.168.7.70/32 scope global eth0

   inet6 fe80::20c:29ff:feff:2119/64 scope link

      valid_lft forever preferred_lft forever

# uname -a

---------------

Linux ha2.example.com 2.6.32-279.el6.x86_64 #1 SMP Fri Jun 22 12:19:21 UTC 2012

x86_64 x86_64 x86_64 GNU/Linux

---------------

现已跳转到haproxy2,在浏览器再次访问该虚IP:

http://192.168.7.70

返回如图：

---------大功告成----------