文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

mysqldump5.7以下版本如何实现并发备份

2024-04-02 19:55

关注

这篇文章主要为大家展示了“mysqldump5.7以下版本如何实现并发备份”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“mysqldump5.7以下版本如何实现并发备份”这篇文章吧。

mysqldump5.7以下版本多线程备份单表

【背景说明】

mysqldump适用于备份单表,或者数量级较小的库的备份。一般情况下innobackupex备份数量级大的库,速度是很快的。但是其瓶颈在于如果业务需要多实例部分对象迁移到新的实例里,此时就无法满足该情况。(mysqldumper在此不做讨论)。

下面简单列举mysqldump适用的场景:

mysqldump虽然使用起来比较灵活,但是它无法实现并发备份,故本文描述的就是实现如何用mysqldump实现并发备份

【思路说明】

把需要备份的一个库或多个库,提取这些库下面所有的表进行一个个备份:这样可以利用脚本进行多线程备份这些单表,从而实现库级的并发备份

【具体脚本】

点击(此处)折叠或打开

  1. #!/bin/bash

  2. #注释:mysqldump多线程备份多表

  3. #Auther:cyt

  4. #date:2016-06-23

  5. #按照多实例循环框架

  6. function instance()

  7. {

  8.         for port in `ps -ef | grep -v -E "mysqld_safe|awk" | awk '/mysqld /,/port=/''{for(i=1;i<=NF;i++){if($i~/port=/) print gsub(/--port=/,""),$i}}' | awk '{print $2}'`

  9.           do

  10.              ##避免循环的port和sock不匹配

  11.              sock=`ps -ef | grep "${port}"| grep -v -E "mysqld_safe|awk" | awk '/mysqld /,/socket=/''{for(i=1;i<=NF;i++){if($i~/socket=/) print gsub(/--socket=/,""),$i}}' | awk '{print $2}'`

  12.              #由于该脚本是并行备份,以防由于繁忙,导致获取不到dump连接,故将该参数调大(备份完后会调小)

  13.              mysql -u$DB_USER -p$DB_PASSWORD --host= --socket=$sock --host=$host -BN -e "SET GLOBAL net_write_timeout=1800";

  14.              #调用输出备份命令的日志函数

  15.              log

  16.              echo "-----端口号为"$port"的mysql实例开始按表并发备份:开始时间为"`date "+%Y-%m-%d %H:%M:%S"`

  17.              #调用备份函数

  18.              dumpAllTable

  19.              #计算备份所用时间

  20.              END=`date "+%Y-%m-%d %H:%M:%S"`

  21.              END_T=`date -d "$END" +%s`

  22.              TIME_INVENTAL_M=$[($END_T-$BEGIN_T)/60]

  23.              TIME_INVENTAL_S=$[($END_T-$BEGIN_T)%60]

  24.              echo '-----端口号为'$port'的mysql实例于' $END '备份完成,使用时间为 '$TIME_INVENTAL_M'分钟'$TIME_INVENTAL_S'秒'

  25.              #调用tardump函数,对备份文件进行压缩,注意本次压缩会删掉原文件

  26.              tardump

  27.              #将参数改为默认,以防耗尽内存

  28.              mysql -u$DB_USER -p$DB_PASSWORD --host= --socket=$sock --host=$host -BN -e "SET GLOBAL net_write_timeout=60";

  29.         done

  30. }




  31. #将要备份的单表从大到小输出到日志里面

  32. function log()

  33. {

  34.             BACKUP_DIR=/data/backup/$DATE/$port;

  35.             mkdir -p  $BACKUP_DIR

  36.             #过滤掉MySQL自带的DB

  37.             if [ -e ${BACKUP_DIR}/cyt.log ];

  38.             then rm -rf ${BACKUP_DIR}/cyt.log;

  39.             fi;

  40.             for a in `mysql -u$DB_USER -p$DB_PASSWORD --socket=$sock --host=$host -BN -e"show databases;" |sed '/^performance_schema$/'d|sed '/^mysql/'d |sed '/^information_schema$/'d|sed '/^information_schema$/'d|sed '/^test$/'d|sed '/^sys$/'d  `

  41.                  do

  42.                     mkdir -p ${BACKUP_DIR}/${a}

  43.                     for j in `mysql -u$DB_USER -p$DB_PASSWORD --host= --socket=$sock --host=$host -BN -e "select table_name from information_schema.tables where table_schema='${a}' order by table_rows desc;"`

  44.                     do

  45.                           echo 'mysqldump -u'$DB_USER' -p'$DB_PASSWORD' --socket='$sock' --host='$host' --set-gtid-purged=OFF -c --single_transaction=OFF -q --skip-add-locks ' ${a} ${j}'>'$BACKUP_DIR'/'${a}'/'${j}'.sql'>>$BACKUP_DIR/cyt.log;

  46.                     done

  47.                  done

  48. }


  49.    


  50. #调用函数log,查看log日志调用并发函数实现多线程备份

  51. function dumpAllTable()

  52. {

  53.         local schemaFile="${BACKUP_DIR}/cyt.log"

  54.         #最大的表先备份(因多进程并发,最短完成时间依赖于最大表的完成)

  55.         allTable=`cat $schemaFile | wc -l`

  56.         i_import=0

  57.         declare -a array_cmds

  58.         i_array=0

  59.         while read file; do

  60.                 i_import=`expr $i + 1`

  61.                 array_cmds[i_array]="${file}"

  62.                 i_array=`expr ${i_array} + 1`

  63.         done < ${BACKUP_DIR}/cyt.log

  64.         execConcurrency "${threadsNum}" "${array_cmds[@]}"

  65. }






  66. #并发函数

  67. function execConcurrency()

  68. {

  69.         #并发数据量

  70.         local thread=$1

  71.         #并发命令

  72.         local cmd=$2

  73.         #定义管道,用于控制并发线程

  74.         tmp_fifofile="/tmp/$$.fifo"

  75.         mkfifo $tmp_fifofile

  76.         #输入输出重定向到文件描述符6

  77.         exec 6<>$tmp_fifofile

  78.         rm -f $tmp_fifofile

  79.         #向管道压入指定数据的空格

  80.         for ((i=0;i<$thread;i++)); do

  81.                 echo

  82.         done >&6

  83.         #遍历命令列表

  84.         while [ "$cmd" ]; do

  85.                 #从管道取出一个空格(如无空格则阻塞,达到控制并发的目的)

  86.                 read -u6

  87.                 #命令执行完后压回一个空格

  88.                 { eval $2;echo >&6; } & #> /dev/null 2>&1 &

  89.                 shift

  90.                 cmd=$2

  91.         done

  92.         #等待所有的后台子进程结束

  93.         wait

  94.         #关闭df6

  95.         exec 6>&-

  96. }


  97. #压缩备份文件

  98. function tardump()

  99. {

  100.     #使用tar压缩

  101.     if [ -d ${BACKUP_DIR} ] && [ -n ${port} ]

  102.     then

  103.         echo "-----开始进行压缩端口号为"$port"的mysql实例的备份:开始时间"`date "+%Y-%m-%d %H:%M:%S"`

  104.         cd $BACKUP_DIR;

  105.         for b in `find $BACKUP_DIR -maxdepth 1 -type d ! -iname "${port}*" ! -iname '*.sql' ! -iname '*tar.gz' `

  106.             do

  107.                 c=`basename $b`

  108.                 tar -zcvf $c'_'$(date +%F_%H-%M).tar.gz $c --remove-files > /dev/null

  109.         done

  110.      else echo "没有可以进行压缩的文件";

  111.     fi;

  112.     echo "-----压缩端口号为"$port"的mysql实例的备份文件:结束时间"`date "+%Y-%m-%d %H:%M:%S"`

  113. }


  114. #主函数

  115. function main()

  116. {

  117.         #获取本地IP地址

  118.         host=`ifconfig | grep 'inet addr:' | grep -v '127.0.0.1' | cut -d: -f2 | awk '{ print $1}'`

  119.         DATE=`date +%F`

  120.         #本次备份mysqldump --host --socket如果是本地用户备份,建议去掉host;(多实例本地用户密码问题需注意)

  121.         #数据库用户

  122.         DB_USER='cyt'

  123.         #数据库用户对应的密码

  124.         DB_PASSWORD='cyt'

  125.         #记录开始的时间

  126.         BEGIN=`date "+%Y-%m-%d %H:%M:%S"`

  127.         BEGIN_T=`date -d "$BEGIN" +%s`

  128.         echo '--------------开始按表并发备份:开始时间为 '$BEGIN

  129.         #设置并发备份的线程数

  130.         threadsNum=10

  131.         #调用instance函数

  132.         instance

  133.         echo '--------------backup all database successfully!!!结束时间:' `date "+%Y-%m-%d %H:%M:%S"`

  134. }


  135. main

【脚本说明】

mysql -u$DBUSER -p$DBPASSWORD --host= --socket=$sock --host=$host -BN -e "SET GLOBAL netwritetimeout=1800";

以上是“mysqldump5.7以下版本如何实现并发备份”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注亿速云行业资讯频道!

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-数据库
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯