文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

MySQL中redo log与binlog的区别有哪些

2023-06-29 04:35

关注

这篇文章主要介绍“MySQL中redo log与binlog的区别有哪些”的相关知识,小编通过实际案例向大家展示操作过程,操作方法简单快捷,实用性强,希望这篇“MySQL中redo log与binlog的区别有哪些”文章能帮助大家解决问题。

前言

MySQL中有六种日志文件,分别是:重做日志(redo log)、回滚日志(undo log)、二进制日志(binlog)、错误日志(errorlog)、慢查询日志(slow query log)、一般查询日志(general log),中继日志(relay log)。

1. 什么是redo log?

redo log又称重做日志文件,用于记录事务操作的变化,记录的是数据修改之后的值,不管事务是否提交都会记录下来。在实例和介质失败(media failure)时,redo log文件就能派上用场,如数据库掉电,InnoDB存储引擎会使用redo log恢复到掉电前的时刻,以此来保证数据的完整性。

1.1 redo日志文件名

每个InnoDB存储引擎至少有1个重做日志文件组(group),每个文件组至少有2个重做日志文件,如默认的ib_logfile0和ib_logfile1。

1.2 影响redo log参数

以下显示了一个关于redo日志组的配置:

mysql> show variables like 'innodb%log%';+----------------------------------+------------+| Variable_name                    | Value      |+----------------------------------+------------+...     | innodb_log_file_size             | 2147483648 || innodb_log_files_in_group        | 2          || innodb_log_group_home_dir        | ./         |...+----------------------------------+------------+15 rows in set (0.00 sec)

1.3 redo log大小怎么设置?

redo log文件的大小设置对于InnoDB存储引擎的性能有着非常大的影响。

设置很大以后减少了checkpoint,并且由于redo log是顺序I/O,大大提高了I/O性能。但是如果数据库意外出现了问题,比如意外宕机,那么需要重放日志并且恢复已经提交的事务,如果日志很大,那么将会导致恢复时间很长。甚至到我们不能接受的程度。

当一个日志文件写满后,innodb会自动切换到另外一个日志文件,而且会触发数据库的检查点(checkpoint),这会导致innodb缓存脏页的小批量刷新,会明显降低innodb的性能。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6gU4thAZ-1584783729918)(https://file.lsjlt.com/upload/202306/27/542rekrjtp5.png)]

参考官方文档’Optimizing InnoDB Redo Logging’章节

把重做日志文件设置很大,甚至与缓冲池一样大。当InnoDB将重做日志文件写满时,它会触发数据库的检查点,把缓冲池的脏数据写入磁盘。小的重做日志文件会导致许多不必要的磁盘写入。虽然在以前版本中,大的重做日志文件导致冗长的恢复时间,但现在恢复速度更快,可以放心地使用大型重做日志文件。

考虑增加日志缓冲区的大小。 大型日志缓冲区可以在事务提交之前运行大型事务,而无需将日志写入磁盘。 因此,如果您有更新,插入或删除许多行的事务,则使日志缓冲区更大可以节省磁盘I/O. 使用innodb_log_buffer_size配置选项配置日志缓冲区大小。

设置innodb_log_write_ahead_size参数,表示redo log写前的块大小。InnoDB以512字节一个block的方式对齐写入ib_logfile文件,但文件系统一般以4096字节为一个block单位。如果即将写入的日志文件块不在OS Cache时,就需要将对应的4096字节的block读入内存,修改其中的512字节,然后再把该block写回磁盘。当 当前写入文件的偏移量不能整除该值时,则补0,多写一部分数据。这样当写入的数据是以磁盘block size对齐时,就可以直接write磁盘,而无需read-modify-write这三步了。

2. 什么是binlog

binlog记录了对MySQL数据库执行更改的所有操作,但是不包括SELECT和SHOW这类操作,因为这类操作对数据本身并没有修改。然后,若操作本身并没有导致数据库发生变化,那么该操作也会写入二进制日志。例如:

root@localhost [(none)] 08:30:14>set binlog_format = 'STATEMENT';root@localhost [(none)] 08:30:26>use test;Database changedroot@localhost [test] 08:30:33>select * from account;+----------+---------+| acct_num | amount  |+----------+---------+|      138 |   14.98 ||      141 | 1937.50 ||       97 | -100.00 |+----------+---------+3 rows in set (0.00 sec)root@localhost [test] 08:30:53>show master status;+----------------------+----------+--------------+------------------+--------------------------------------------+| File                 | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set                          |+----------------------+----------+--------------+------------------+--------------------------------------------+| my3306_binlog.000052 |      471 |              |                  | e4382832-949d-11e8-97ba-080027793430:1-205 |+----------------------+----------+--------------+------------------+--------------------------------------------+root@localhost [test] 08:31:04>update account set acct_num=139 where amount=14;Query OK, 0 rows affected (0.01 sec)Rows matched: 0  Changed: 0  Warnings: 0root@localhost [test] 08:31:35>show binlog events in 'my3306_binlog.000052';+----------------------+-----+----------------+-----------+-------------+---------------------------------------------------------------------+| Log_name             | Pos | Event_type     | Server_id | End_log_pos | Info                                                                |+----------------------+-----+----------------+-----------+-------------+---------------------------------------------------------------------+| my3306_binlog.000052 |   4 | Format_desc    |   1003306 |         123 | Server ver: 5.7.23-log, Binlog ver: 4                               || my3306_binlog.000052 | 123 | Previous_gtids |   1003306 |         194 | e4382832-949d-11e8-97ba-080027793430:1-204                          || my3306_binlog.000052 | 194 | Gtid           |   1003306 |         259 | SET @@SESSION.GTID_NEXT= 'e4382832-949d-11e8-97ba-080027793430:205' || my3306_binlog.000052 | 259 | Query          |   1003306 |         331 | BEGIN                                                               || my3306_binlog.000052 | 331 | Table_map      |   1003306 |         384 | table_id: 108 (test.account)                                        || my3306_binlog.000052 | 384 | Update_rows    |   1003306 |         440 | table_id: 108 flags: STMT_END_F                                     || my3306_binlog.000052 | 440 | Xid            |   1003306 |         471 | COMMIT                                                  || my3306_binlog.000052 | 471 | Gtid           |   1003306 |         536 | SET @@SESSION.GTID_NEXT= 'e4382832-949d-11e8-97ba-080027793430:206' || my3306_binlog.000052 | 536 | Query          |   1003306 |         615 | BEGIN                                                               || my3306_binlog.000052 | 615 | Query          |   1003306 |         736 | use `test`; update account set acct_num=139 where amount=14         || my3306_binlog.000052 | 736 | Query          |   1003306 |         816 | COMMIT                                                              |+----------------------+-----+----------------+-----------+-------------+---------------------------------------------------------------------+11 rows in set (0.01 sec)

从上述例子中可以看到,MySQL数据库首先进行update操作,从返回的结果看到Changed为0,这意味着该操作并没有导致数据库的变化。但是通过show binlog events in '...'可以看出在二进制日志中的确进行了记录。

如果想记录SELECT和SHOW操作,那只能使用查询日志--general_log[={0|1}](1为启用)

2.1 binlog文件名

通过配置参数--log-bin[=name]可以启动二进制日志。如果不指定那么,则默认binlog日志文件名为主机名,后缀名为binlog的序列号,默认路劲为数据目录(datadir).你也可以指定绝对路径,如:

# cat /etc/my.cnf|grep log-binlog-bin = /data/mysql/mysql3306/logs/my3306_binlog# cd /data/mysql/mysql3306/logs# ls -ltotal 60-rw-r----- 1 mysql mysql   194 Aug 15 10:04 my3306_binlog.000045-rw-r----- 1 mysql mysql  1552 Aug 16 10:01 my3306_binlog.000046-rw-r----- 1 mysql mysql  2953 Aug 17 09:56 my3306_binlog.000047-rw-r----- 1 mysql mysql  1239 Aug 20 10:29 my3306_binlog.000048-rw-r----- 1 mysql mysql   217 Aug 20 10:29 my3306_binlog.000049-rw-r----- 1 mysql mysql 19567 Aug 21 10:24 my3306_binlog.000050-rw-r----- 1 mysql mysql   194 Aug 22 08:01 my3306_binlog.000051-rw-r----- 1 mysql mysql   816 Aug 22 08:31 my3306_binlog.000052-rw-r----- 1 mysql mysql   384 Aug 22 08:01 my3306_binlog.index

2.2 影响binlog的参数

binlog_cache_size是基于session的,也就是说,当一个线程开始一个事务时,MySQL会自动分配一个大小为binlog_cache_size的缓存,因此该值的设置需要非常小心,不能设置过大。
当一个事务的记录大于设定的binlog_cache_size时,MySQL会把缓存中的日志写入一个临时文件中,因此该值又不能设的太小。
那怎么设置呢?

通过show global status命令查看binlog_cache_use,binlog_cache_disk_use的状态,以判断当前binlog_cache_size设置是否合适。

通过show global status命令查看binlog_cache_use,binlog_cache_disk_use的状态,以判断当前binlog_cache_size设置是否合适。binlog_cache_use:记录了使用缓存写binlog次数binlog_cache_disk_use:记录了使用临时文件写binlog次数。示例:root@localhost [(none)] 09:55:48>show variables like 'binlog_cache_size';+-------------------+---------+| Variable_name     | Value   |+-------------------+---------+| binlog_cache_size | 32768   |+-------------------+---------+1 row in set (0.00 sec)root@localhost [(none)] 09:53:26>show global status like 'binlog_cache%';+-----------------------+-------+| Variable_name         | Value |+-----------------------+-------+| Binlog_cache_disk_use | 0     || Binlog_cache_use      | 33553 |+-----------------------+-------+2 rows in set (0.00 sec)使用缓存次数为33553,临时文件使用次数为0。说明32KB的缓存大小对于当前MySQL数据库是够用的。
PURGE { BINARY | MASTER } LOGS   { TO 'log_name' | BEFORE datetime_expr }PURGE BINARY LOGS TO 'mysql-bin.010';PURGE BINARY LOGS BEFORE '2008-04-02 22:46:26';PURGE BINARY LOGS BEFORE now() - interval 3 days;
root@localhost [test] 08:07:52>show binlog events in 'my3306_binlog.000056';+----------------------+-----+----------------+-----------+-------------+---------------------------------------------------------------------+| Log_name             | Pos | Event_type     | Server_id | End_log_pos | Info                                                                |+----------------------+-----+----------------+-----------+-------------+---------------------------------------------------------------------+| my3306_binlog.000056 |   4 | Format_desc    |   1003306 |         123 | Server ver: 5.7.23-log, Binlog ver: 4                               || my3306_binlog.000056 | 123 | Previous_gtids |   1003306 |         194 | e4382832-949d-11e8-97ba-080027793430:1-206                          || my3306_binlog.000056 | 194 | Gtid           |   1003306 |         259 | SET @@SESSION.GTID_NEXT= 'e4382832-949d-11e8-97ba-080027793430:207' || my3306_binlog.000056 | 259 | Query          |   1003306 |         331 | BEGIN                                                               || my3306_binlog.000056 | 331 | Table_map      |   1003306 |         375 | table_id: 108 (test.t)                                              || my3306_binlog.000056 | 375 | Update_rows    |   1003306 |         421 | table_id: 108 flags: STMT_END_F                                     || my3306_binlog.000056 | 421 | Xid            |   1003306 |         452 | COMMIT                                                  || my3306_binlog.000056 | 452 | Gtid           |   1003306 |         517 | SET @@SESSION.GTID_NEXT= 'e4382832-949d-11e8-97ba-080027793430:208' || my3306_binlog.000056 | 517 | Query          |   1003306 |         589 | BEGIN                                                               || my3306_binlog.000056 | 589 | Table_map      |   1003306 |         633 | table_id: 108 (test.t)                                              || my3306_binlog.000056 | 633 | Write_rows     |   1003306 |         673 | table_id: 108 flags: STMT_END_F                                     || my3306_binlog.000056 | 673 | Xid            |   1003306 |         704 | COMMIT                                                  || my3306_binlog.000056 | 704 | Gtid           |   1003306 |         769 | SET @@SESSION.GTID_NEXT= 'e4382832-949d-11e8-97ba-080027793430:209' || my3306_binlog.000056 | 769 | Query          |   1003306 |         841 | BEGIN                                                               || my3306_binlog.000056 | 841 | Rows_query     |   1003306 |         887 | # insert into t select 3                                            || my3306_binlog.000056 | 887 | Table_map      |   1003306 |         931 | table_id: 108 (test.t)                                              || my3306_binlog.000056 | 931 | Write_rows     |   1003306 |         971 | table_id: 108 flags: STMT_END_F                                     || my3306_binlog.000056 | 971 | Xid            |   1003306 |        1002 | COMMIT                                                  |+----------------------+-----+----------------+-----------+-------------+---------------------------------------------------------------------+# insert into t select 3   就是开启binlog_rows_query_log_events选项后,记录的原始SQL语句。

存储引起对binlog格式的支持情况:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-drzPlzHa-1584783729919)(https://file.lsjlt.com/upload/202306/27/pq0v2ptw53o.png)]

2.3 查看binlog

使用mysqlbinlog程序进行查看,例如:

[root@mysqldb1 10:58:18 /data/mysql/mysql3306/logs]# mysqlbinlog -v --base64-output=decode-rows my3306_binlog.000052|more;;DELIMITER ;# at 4#180822  8:01:00 server id 1003306  end_log_pos 123 CRC32 0xcbe20047 Start: binlog v 4, server v 5.7.23-log created 180822  8:01:00 at startup# Warning: this binlog is either in use or was not closed properly.ROLLBACK;# at 123#180822  8:01:00 server id 1003306  end_log_pos 194 CRC32 0xb1bda518 Previous-GTIDs# e4382832-949d-11e8-97ba-080027793430:1-204# at 194#180822  8:10:59 server id 1003306  end_log_pos 259 CRC32 0xeced9ada GTIDlast_committed=0sequence_number=1rbr_only=yes;SET @@SESSION.GTID_NEXT= 'e4382832-949d-11e8-97ba-080027793430:205';# at 259#180822  8:10:59 server id 1003306  end_log_pos 331 CRC32 0x6da7802a Querythread_id=2exec_time=0error_code=0SET TIMESTAMP=1534896659;SET @@session.pseudo_thread_id=2;SET @@session.foreign_key_checks=1, @@session.sql_auto_is_null=0, @@session.unique_checks=1, @@session.autocommit=1;SET @@session.sql_mode=1436549152;SET @@session.auto_increment_increment=1, @@session.auto_increment_offset=1;;SET @@session.character_set_client=33,@@session.collation_connection=33,@@session.collation_server=45;SET @@session.lc_time_names=0;SET @@session.collation_database=DEFAULT;BEGIN;# at 331#180822  8:10:59 server id 1003306  end_log_pos 384 CRC32 0xf239dd79 Table_map: `test`.`account` mapped to number 108# at 384#180822  8:10:59 server id 1003306  end_log_pos 440 CRC32 0xef6460fe Update_rows: table id 108 flags: STMT_END_F### UPDATE `test`.`account`### WHERE###   @1=137###   @2=14.98### SET###   @1=138###   @2=14.98# at 440#180822  8:10:59 server id 1003306  end_log_pos 471 CRC32 0x360f05d0 Xid = 14COMMIT;# at 471#180822  8:31:35 server id 1003306  end_log_pos 536 CRC32 0x662c8f17 GTIDlast_committed=1sequence_number=2rbr_only=noSET @@SESSION.GTID_NEXT= 'e4382832-949d-11e8-97ba-080027793430:206';# at 536#180822  8:31:35 server id 1003306  end_log_pos 615 CRC32 0xa728a60a Querythread_id=3exec_time=0error_code=0SET TIMESTAMP=1534897895;BEGIN;# at 615#180822  8:31:35 server id 1003306  end_log_pos 736 CRC32 0x7513aa73 Querythread_id=3exec_time=0error_code=0use `test`;SET TIMESTAMP=1534897895;update account set acct_num=139 where amount=14;# at 736#180822  8:31:35 server id 1003306  end_log_pos 816 CRC32 0x1cd7f41c Querythread_id=3exec_time=0error_code=0SET TIMESTAMP=1534897895;COMMIT;SET @@SESSION.GTID_NEXT= 'AUTOMATIC'  ;DELIMITER ;# End of log file;;

3. redo log与binlog的区别

第一:redo log是在InnoDB存储引擎层产生,而binlog是MySQL数据库的上层产生的,并且二进制日志不仅仅针对INNODB存储引擎,MySQL数据库中的任何存储引擎对于数据库的更改都会产生二进制日志。

第二:两种日志记录的内容形式不同。MySQL的binlog是逻辑日志,其记录是对应的SQL语句。而innodb存储引擎层面的重做日志是物理日志。

第三:两种日志与记录写入磁盘的时间点不同,二进制日志只在事务提交完成后进行一次写入。而innodb存储引擎的重做日志在事务进行中不断地被写入,并日志不是随事务提交的顺序进行写入的。

二进制日志仅在事务提交时记录,并且对于每一个事务,仅在事务提交时记录,并且对于每一个事务,仅包含对应事务的一个日志。而对于innodb存储引擎的重做日志,由于其记录是物理操作日志,因此每个事务对应多个日志条目,并且事务的重做日志写入是并发的,并非在事务提交时写入,其在文件中记录的顺序并非是事务开始的顺序。

第四:binlog不是循环使用,在写满或者重启之后,会生成新的binlog文件,redo log是循环使用。

第五:binlog可以作为恢复数据使用,主从复制搭建,redo log作为异常宕机或者介质故障后的数据恢复使用。

关于“MySQL中redo log与binlog的区别有哪些”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识,可以关注编程网行业资讯频道,小编每天都会为大家更新不同的知识点。

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-数据库
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯