mysql主从复制架构及实现
mysql主从复制配置
-
主节点：
-
启动二进制日志
-
为当前节点设置一个全局唯一的ID号（server-id）
- 创建有复制权限的用户账号（replication slave，replication client）
-
-
从节点：
-
启动中继日志
-
为当前节点设置一个全局唯一的ID号
- 使用有复制权限的用户账号连接至主服务器，并启动复制线程
-
具体步骤
主节点（192.168.182.130）
-
编辑配置文件/etc/my.cnf，添加以下内容
[mysqld] log_bin=1 server_id=1 innodb_file_per_table=on - 创建有复制权限的用户账号
MariaDB [(none)]> GRANT REPLICATION SLAVE,REPLICATION CLIENT ON *.* TO 'repluser'@'192.168.182.132' IDENTIFIED BY 'replpass'; MariaDB [(none)]> FLUSH PRIVILEGES;
从节点（192.168.182.132）
-
编辑配置文件/etc/my.cnf，添加以下内容
[mysqld] relay_log=relay_log relay_log_index=relay_log.index server_id=7 skip_name_resolve=1 -
使用有复制权限的用户账号连接至主服务器
MariaDB [(none)]> CHANGE MASTER TO MASTER_HOST='192.168.182.130',MASTER_USER='repluser',MASTER_PASSWORD='replpass',MASTER_LOG_FILE='mysql-bin.000075',MASTER_LOG_POS=245; -
启动复制线程
MariaDB [(none)]> START SLAVE; - 查看slave的状态
MariaDB [(none)]> SHOW SLAVE STATUS\G *************************** 1. row *************************** Slave_IO_State: Waiting for master to send event Master_Host: 192.168.182.130 Master_User: repluser Master_Port: 3306 Connect_Retry: 60 Master_Log_File: mysql-bin.000075 Read_Master_Log_Pos: 245 Relay_Log_File: 1.000002 Relay_Log_Pos: 529 Relay_Master_Log_File: mysql-bin.000075 Slave_IO_Running: Yes ##io线程启动了 Slave_SQL_Running: Yes ## sql线程启动了 Replicate_Do_DB: Replicate_Ignore_DB: Replicate_Do_Table: Replicate_Ignore_Table: Replicate_Wild_Do_Table: Replicate_Wild_Ignore_Table: Last_Errno: 0 Last_Error: Skip_Counter: 0 Exec_Master_Log_Pos: 245 Relay_Log_Space: 809 Until_Condition: None Until_Log_File: Until_Log_Pos: 0 Master_SSL_Allowed: No Master_SSL_CA_File: Master_SSL_CA_Path: Master_SSL_Cert: Master_SSL_Cipher: Master_SSL_Key: Seconds_Behind_Master: 0 Master_SSL_Verify_Server_Cert: No Last_IO_Errno: 0 Last_IO_Error: Last_SQL_Errno: 0 Last_SQL_Error: Replicate_Ignore_Server_Ids: Master_Server_Id: 1
mysql主从复制中应该要注意的问题
-
限制从服务器为只读
-
限制从服务器为只读，在从服务器上设置read_only=on，想要永久有效，就写在配置文件中，但是此限制对拥有SUPER权限的用户均无效
MariaDB [(none)]> SHOW GLOBAL VARIABLES LIKE 'read_only'; +---------------+-------+ | Variable_name | Value | +---------------+-------+ | read_only | OFF | +---------------+-------+ MariaDB [(none)]> SET GLOBAL read_only=1; - 如果想要限制所有用户不能够进行写操作，那么启动一个连接加读锁，并且不要退出该连接
MariaDB [(none)]> FLUSH TABLE WITH READ LOCK;
-
-
如何保证主从复制的事务安全？
-
在master节点启用参数
sync_binlog= -
如果用到的是InnoDB存储引擎
innodb_flush_log_at_trx_commit innodb_support_xa - 在slave节点上，以下参数表示在从服务器启动的时候，是否自动启动复制线程，on表示不用自动启动，使用手动启动的方式
skip_slave_start=on
-
-
slave节点上的两个文件
-
master.info文件中保存了slave连接至master时的相关信息，例如主服务器的ip地址，复制使用的用户，密码，端口，以及当前同步的二进制日志文件和位置
- relay-log.info文件中保存了当前slave节点已经复制的二进制日志文件和位置，复制的内容保存到了哪个中继日志的哪个位置
[root@backserver data]# cat relay-log.info ./1.000002 693 mysql-bin.000075 409
-
-
复制的监控和维护：
-
清理日志：使用PURGE命令，清理之前确保数据已经备份过了
-
复制监控
MariaDB [(none)]> SHOW BINARY LOGS; +------------------+-----------+ | Log_name | File_size | +------------------+-----------+ | mysql-bin.000001 | 483 | | mysql-bin.000002 | 264 | | mysql-bin.000003 | 264 | | mysql-bin.000004 | 264 | | mysql-bin.000005 | 990 | | mysql-bin.000006 | 514 | | mysql-bin.000007 | 264 | | mysql-bin.000008 | 245 | | mysql-bin.000009 | 245 | +------------------+-----------+ MariaDB [(none)]> SHOW BINLOG EVENTS; +------------------+-----+-------------+-----------+-------------+----------------------------------------------------------------+ | Log_name | Pos | Event_type | Server_id | End_log_pos | Info | +------------------+-----+-------------+-----------+-------------+----------------------------------------------------------------+ | mysql-bin.000001 | 4 | Format_desc | 1 | 245 | Server ver: 5.5.45-MariaDB-log, Binlog ver: 4 | | mysql-bin.000001 | 245 | Query | 1 | 315 | BEGIN | | mysql-bin.000001 | 315 | Intvar | 1 | 343 | INSERT_ID=9 | | mysql-bin.000001 | 343 | Query | 1 | 456 | use `S_SC_C`; INSERT INTO S (sname,sdept) VALUES ('xiao','MA') | | mysql-bin.000001 | 456 | Xid | 1 | 483 | COMMIT | +------------------+-----+-------------+-----------+-------------+----------------------------------------------------------------+ MariaDB [(none)]> SHOW MASTER STATUS; +------------------+----------+--------------+------------------+ | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | +------------------+----------+--------------+------------------+ | mysql-bin.000009 | 245 | | | +------------------+----------+--------------+------------------+ MariaDB [(none)]> SHOW PROCESSLIST; +----+-------------+-----------+------+---------+------+-----------------------------------------------------------------------------+------------------+----------+ | Id | User | Host | db | Command | Time | State | Info | Progress | +----+-------------+-----------+------+---------+------+-----------------------------------------------------------------------------+------------------+----------+ | 5 | root | localhost | NULL | Query | 0 | NULL | SHOW PROCESSLIST | 0.000 | | 6 | system user | | NULL | Connect | 3850 | Waiting for master to send event | NULL | 0.000 | | 7 | system user | | NULL | Connect | 3806 | Slave has read all relay log; waiting for the slave I/O thread to update it | NULL | 0.000 | +----+-------------+-----------+------+---------+------+-----------------------------------------------------------------------------+------------------+----------+ MariaDB [(none)]> SHOW SLAVE STATUS\G -
从服务器是否落后与主服务器，在从服务器的salve有Seconds_Behind_Master可以查看
MariaDB [(none)]> SHOW SLAVE STATUS -> \G *************************** 1. row *************************** Slave_IO_State: Waiting for master to send event Master_Host: 192.168.182.130 Master_User: repluser Master_Port: 3306 Connect_Retry: 60 Master_Log_File: mysql-bin.000079 Read_Master_Log_Pos: 334 Relay_Log_File: 1.000006 Relay_Log_Pos: 618 Relay_Master_Log_File: mysql-bin.000079 Slave_IO_Running: Yes Slave_SQL_Running: Yes Replicate_Do_DB: MYDB Replicate_Ignore_DB: Replicate_Do_Table: Replicate_Ignore_Table: Replicate_Wild_Do_Table: Replicate_Wild_Ignore_Table: Last_Errno: 0 Last_Error: Skip_Counter: 0 Exec_Master_Log_Pos: 334 Relay_Log_Space: 1182 Until_Condition: None Until_Log_File: Until_Log_Pos: 0 Master_SSL_Allowed: No Master_SSL_CA_File: Master_SSL_CA_Path: Master_SSL_Cert: Master_SSL_Cipher: Master_SSL_Key: Seconds_Behind_Master: 0 #从服务器落后与主服务器多长时间 Master_SSL_Verify_Server_Cert: No Last_IO_Errno: 0 Last_IO_Error: Last_SQL_Errno: 0 Last_SQL_Error: Replicate_Ignore_Server_Ids: Master_Server_Id: 1 -
确定主从节点数据是否一致，使用一些工具，例如percona-tools
- 如果数据不一致，那么就要将从节点的所有数据删除，将主节点的数据备份一份导入到从节点上，重新复制
-
-
在主节点上有一个参数，设置为1表示每一次dump事件到从节点的时候，本地的master.info信息要立即同步到磁盘上，让从节点的master.info及时得到更新，
MariaDB [(none)]> SET GLOBAL sync_master_info=1; MariaDB [(none)]> SHOW GLOBAL VARIABLES LIKE 'sync_master_info'; +------------------+-------+ | Variable_name | Value | +------------------+-------+ | sync_master_info | 1 | +------------------+-------+ - 在从节点上有关于relay_log的参数，例如sync_relay_log_info，表示每一次写操作立即同步到磁盘文件上，还有sync_relay_log
双主模型
-
遇到的问题：
-
数据不一致，这时，我们可能就需要将数据可靠性比较高的服务器留下来，根据保留的mysql服务器重新再做一个从服务器
-
对于自动增长的字段，如果一个主节点是1，2，3，...，另一个主节点也是1，2，3，...，那么合并的时候就会出现问题，所以，我们可以让一个节点的自动增长的字段使用偶数id，另一个主节点使用奇数id，这样合并的时候就不会出现问题
-
奇数id的设置
auto_increment_offset=1 #表示从1开始 auto_increment_increment=2 #表示一次增长2个 - 偶数id的设置
auto_increment_offset=2 auto_increment_increment=2
-
配置步骤
-
各节点使用一个唯一的server_id
-
都启动binary log和relay log
-
创建拥有复制权限的用户账号
- 定义自动增长id字段的数值范围为奇偶
具体步骤
-
其中一个节点为:
-
编辑配置文件
log_bin=1 server_id=1 innodb_file_per_table=on relay_log=relay-log relay_log_index=relay-log.index auto_increment_offset=1 auto_increment_increment=2 -
创建用户账号
MariaDB [(none)]> GRANT REPLICATION SLAVE,REPLICATION CLIENT ON *.* TO 'repluser'@'192.168.182.132' IDENTIFIED BY 'replpass'; MariaDB [(none)]> FLUSH PRIVILEGES; - 使用有复制权限的用户账号连接至主服务器并开启slave线程
MariaDB [(none)]> CHANGE MASTER TO MASTER_HOST='192.168.182.132',MASTER_USER='repluser',MASTER_PASSWORD='replpass',MASTER_LOG_FILE='mysql-bin.000006',MASTER_LOG_POS=245; MariaDB [(none)]> START SLAVE;
-
-
在另一个主节点上的操作：
-
编辑配置文件
[mysqld] bin_log=1 relay_log=1 relay_log_index=relay-log.index server_id=7 auto_increment_offset=2 auto_increment_increment=2 -
创建具有复制权限的用户账号
MariaDB [(none)]> GRANT REPLICATION SLAVE,REPLICATION CLIENT ON *.* TO 'repluser'@'192.168.182.130' IDENTIFIED BY 'replpass'; MariaDB [(none)]> FLUSH PRIVILEGES; - 使用具有复制权限的用户账号连接至主节点并启用slave线程
MariaDB [(none)]> CHANGE MASTER TO MASTER_HOST='192.168.182.130',MASTER_USER='repluser',MASTER_PASSWORD='replpass',MASTER_LOG_FILE='mysql-bin.000075',MASTER_LOG_POS=665; MariaDB [(none)]> START SLAVE;
-
半同步复制
-
需要用到一个插件，如果是rpm包安装的插件路径在/usrl/lib64/mysql/plugin，我使用二进制格式安装的插件路径是/usr/local/mysql/lib/plugin
-
主节点上的操作
-
编辑配置文件
[mysqld] log_bin=1 server_id=1 innodb_file_per_table=on plugin_dir=/usr/local/mysql/lib/plugin -
添加具有复制权限的用户账号
MariaDB [(none)]> GRANT REPLICATION SLAVE,REPLICATION CLIENT ON *.* TO 'repluser'@'192.168.182.132' IDENTIFIED BY 'replpass'; MariaDB [(none)]> FLUSH PRIVILEGES; -
安装插件
MariaDB [(none)]> INSTALL PLUGIN rpl_semi_sync_master SONAME 'semisync_master.so'; -
查看有哪些插件
MariaDB [(none)]> SHOW PLUGINS; -
查看半同步相关的变量
MariaDB [(none)]> SHOW GLOBAL VARIABLES LIKE '%semi%'; +------------------------------------+-------+ | Variable_name | Value | +------------------------------------+-------+ | rpl_semi_sync_master_enabled | OFF | | rpl_semi_sync_master_timeout | 10000 | | rpl_semi_sync_master_trace_level | 32 | | rpl_semi_sync_master_wait_no_slave | ON | +------------------------------------+-------+ -
rpl_semi_sync_master_enabled：为OFF表示禁用为半同步复制的主节点
-
rpl_semi_sync_master_timeout：表示等待从服务器应答的超时时长，默认是10s，如果超过这个时间从服务器没有给主服务器应答，那么就降级为异步方式运行，不再等待
-
rpl_semi_sync_master_trace_level：表示跟踪级别
-
rpl_semi_sync_master_wait_no_slave：表示在没有从节点的时候是否要等待，on为等待
- 启用半同步
MariaDB [(none)]> SET GLOBAL rpl_semi_sync_master_enabled=1;
-
-
从节点上的操作：
-
编辑配置文件
[mysqld] relay_log=1 relay_log_index=relay-log.index server_id=7 skip_name_resolve=1 plugin_dir=/usr/local/mysql/lib/plugin/ -
使用具有复制权限的用户账号连接至主节点
MariaDB [(none)]> CHANGE MASTER TO MASTER_HOST='192.168.182.130',MASTER_USER='rpluser',MASTER_PASSWORD='replpass',MASTER_LOG_FILE='mysql-bin.000078',MASTER_LOG_POS=245; -
安装插件
MariaDB [(none)]> INSTALL PLUGIN rpl_semi_sync_slave SONAME 'semisync_slave.so'; -
查看半同步相关的变量
MariaDB [(none)]> SHOW GLOBAL VARIABLES LIKE '%semi%'; +---------------------------------+-------+ | Variable_name | Value | +---------------------------------+-------+ | rpl_semi_sync_slave_enabled | OFF | | rpl_semi_sync_slave_trace_level | 32 | +---------------------------------+-------+ -
启用半同步
MariaDB [(none)]> SET GLOBAL rpl_semi_sync_slave_enabled=1; - 启用slave线程
MariaDB [(none)]> START SLAVE;
-
- 以上操作就可以完成一个半同步的复制，可以在主节点上查看相关的状态变量，查看是否有半同步的slave节点
MariaDB [(none)]> SHOW GLOBAL STATUS LIKE '%semi%'; +--------------------------------------------+-------+ | Variable_name | Value | +--------------------------------------------+-------+ | Rpl_semi_sync_master_clients | 1 | | Rpl_semi_sync_master_net_avg_wait_time | 0 | | Rpl_semi_sync_master_net_wait_time | 0 | | Rpl_semi_sync_master_net_waits | 0 | | Rpl_semi_sync_master_no_times | 0 | | Rpl_semi_sync_master_no_tx | 0 | | Rpl_semi_sync_master_status | ON | | Rpl_semi_sync_master_timefunc_failures | 0 | | Rpl_semi_sync_master_tx_avg_wait_time | 0 | | Rpl_semi_sync_master_tx_wait_time | 0 | | Rpl_semi_sync_master_tx_waits | 0 | | Rpl_semi_sync_master_wait_pos_backtraverse | 0 | | Rpl_semi_sync_master_wait_sessions | 0 | | Rpl_semi_sync_master_yes_tx | 0 | +--------------------------------------------+-------+ # Rpl_semi_sync_master_clients为0表示没有，为1表示有
复制过滤器
-
让从节点仅复制指定的数据库，或指定数据库的指定表
-
有两种实现方式:
-
主服务器仅向二进制日志中记录与特定数据库（特定表）相关的事件，但是可能会导致时间点还原无法实现（毕竟二进制日志记录的事件是不完全的），不建议使用
binlog_do_db #指定只记录哪些数据库的相关修改操作到二进制日志文件中，可以指定一个列表，使用逗号隔开 binlog_ignore_db #指定只忽略哪些不记录，其他都记录，可以指定一个列表，使用逗号隔开 -
从服务器SQL_THREAD在replay中继日志中的事件时，仅读取与特定数据库（特定表）相关的事件并应用与本地；但是会造成网络及磁盘io浪费
replicate_do_db= #该处指定的数据库的相关事件都要进行复制 replicate_ignore_db= replicate_do_table= replicate_ignore_table= replicate_wild_do_table= #在指定表的时候可以使用通配符 replcate_wild_ignore_table= - 示例：复制时只复制MYDB数据库的相关事件
#在从服务器上进行的操作 MariaDB [(none)]> SET GLOBAL replicate_do_db='MYDB'; MariaDB [(none)]> SHOW GLOBAL VARIABLES LIKE '%replicate%'; +----------------------------------+-----------+ | Variable_name | Value | +----------------------------------+-----------+ | replicate_annotate_row_events | OFF | | replicate_do_db | MYDB | | replicate_do_table | | | replicate_events_marked_for_skip | replicate | | replicate_ignore_db | | | replicate_ignore_table | | | replicate_wild_do_table | | | replicate_wild_ignore_table | | +----------------------------------+-----------+ MariaDB [(none)]> SHOW SLAVE STATUS\G;
-
