文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

MySQL:如何才能实现高效数据统计

2024-11-30 03:38

关注

这时候,我们一般就需要MySQL的统计功能实现。

1 count(*)实现方式

不同的引擎,count(*)实现逻辑也不一致:

InnoDB利用多版本控制机制支持事务,一行记录会记录多个MVCC,统计行数这一行为和隔离级别直接相关。在RR级别下,每一行记录都要判断自己是否对这个会话可见,每个会话也会执行增删改操作,导致每个事务统计的行数不一致,因此,对于count(*)来说,InnoDB只好把数据一行行读出来,对可见的行进行统计。因此,InnoDB不能像MyISAM引擎一样在磁盘保存数据行树。

表中,会话C没有显示开始事务,因此每条语句都是独立事务,由于AB会话都没有提交事务,因此,AB的修改对C不可见。

事实上,InnoDB对count(*)做了一定优化,由于InnoDB是索引组织表,主键索引树的叶子节点是数据,普通索引树的叶子阶段是主键值,因此,普通索引树比主键索引树小很多。执行count(*)的逻辑就是遍历,因此,MySQL优化器会选择最小的索引树用于遍历,相对于每次都读取所有的数据行,只是遍历主键,自然IO开销要小的多。

因此说:在保证逻辑正确的前提下,尽量减少扫描的数据量,是数据库系统设计的通用法则之一。

另外,还有一个显示行数的命令为:

show table status;

也会显示表的行数,但是这里的rows是预估值,这个预估值是根据随机采集计算出来的,MySQL随机取N页数据,计算出每页中不同记录数,求取平均值后乘以总页数得到的就是预估值。这个预估值是否接近真实值,取决于索引字段区分度、索引数据页紧凑程度、是否存在页分裂、索引空洞等元素。这个预估值也是造成MySQL选错索引的原因。

2 如何实现计数逻辑

2.1 用缓存系统统计计数

如果是一般场景,使用缓存系统执行计数是满足需求的,即使说,由于redis服务集群异常重启导致数据丢失,但是可以再次扫描一次表获取表的总数。

但是如果是非常严谨的场景(银行统计实际支付的订单数据等),那可能有如下的问题。

第一个是缓存可能会丢失数据,即使是开启持久化,还是存在丢失数据可能性。redis持久化有RDB和AOF两种方式;RDB按照备份策略,比如60秒1000个k-v被修改,备份过程中宕机,那么这个阶段的所有更新都会丢失;AOF按照备份策略,比如 appendfsync always 策略,同步记录所执行的指令到日志文件,但是它的日志和mysql的WAL不同,它是写后日志,可能指令执行后写日之前宕机,那这个数据就丢失了,虽然丢失数据较少且概率较低,但依然存在这个可能。

第二个是数据一致性保证问题,Redis和MySQL是两个数据源,可以看成是一种分布式一致性的问题,而分布式一致性由于不能保证原子性,因此一般只能保证最终一致性,而不能保证实时一致性。

数据一致性问题目前可分为三类:

1.主从不一。解决办法:半同步复制可以保证实时的一致性,因为写时写主和从之后才响应,只不顾这样写的并发上不去;其他访问有强制读主、消息中间件路由读主和缓存是否失效读主;

2.数据库与缓存的不一。解决办法:读操作直接读缓存,写操作先更新到数据库,淘汰缓存(程序需要保证两个操作的原子性,如果淘汰失败,则发一条小实现异步淘汰).由于该key的缓存已经清理掉,那么下次读的时候需要先读数据库,在重建缓存. 由于redis是单线程,保证了一个操作的原子性.可以通过设置appendfsync always来保证每次操作都把该操作记录并落盘到aof文件里(不过一般redis该值为everysec),毕竟使用redis的目的不是为了保证acid.还是要根据业务来选择 。

3.一个事务跨多个节点或者多种数据库(分库分表和银行转账这种例子) 。目前好像都是通过2pc,3pc来保证的。 

2.2 用数据库保存计数

在数据库中设计单独的计数表,将插入数据、删除数据的SQL和更新计数表的SQL语句作为同一个事务执行。

图片

在统计时,将读取计数器和查询最近数据也作为一个事务执行,这样拿到的就是理论上的实际值。

但是实际上,在高并发场景以及一般场景,这种统计的意义可能并不是很大,因为当你刚刚统计的数据,可能在返回的期间已经有变化。

这时候再次有个问题:在并发系统性能的角度考虑,在事务序列里,是先插入操作记录,还是应该先更新计数表?

答案是:先插入新纪录。

3 不同的count方法

count()方法是一个聚合函数,对于返回的结果集,一行行判断,如果count函数参数不是null,累计值+1,否则不加。最后返回累计值。

所以,count(*)、count(1)、count(主键)都表示返回满足条件的结果集的总行数;count(列)表示返回满足条件的数据行里面,参数“字段”不为Null的总个数。

MySQL执行统计的原则是:

count(主键):InnoDB引擎会遍历整张表,把每一行的id取出来(存在数据行数据解析),把主键返回给server层(存在字段值拷贝)。判定id是否为空,不为空直接按行累加即可(这里应该是可以优化的,因为主键一定不允许为空);同时,count(id)可能会走最小的索引来遍历,并不一定非要走主键索引;

count(1):InnoDB引擎遍历整张表,但是无需取值。server层对返回的每一行放一个数字1,按行累加;

count(column):

count(*):count(*)不取值,按行累加即可;

MySQL文档中有如下说明:

InnoDB handles SELECT COUNT(*) and SELECT COUNT(1) operations in the same way. There is no performance difference。

因此,按照效率排序为:count(字段)

从获取的数值来看,count(字段)也一定是最小的,因为列字段的值可能为null。

4 本章回顾问题

把该讲内容总结为几个问题, 大家复习的时候可以先尝试回答这些问题检查自己的掌握程度:

  1. count(*)的实现方式在MySAM引擎和InnoDB引擎的实现方式各是怎么样的? 为什么会有这种不同?
  2. 使用缓存保存count总数存在什么问题?
  3. 如果使用一场单独的表来记录其他各张表的记录数的话,是怎么解决统计结果不精确的问题的?
  4. count(字段),count(id),count(1), count(*)各自是怎么样的执行机制, 效率排序是怎么样的?
来源:陆队长内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯