文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

mysql清理重复数据,并保留最新一条

2023-08-16 14:51

关注

背景

之前,数据是通过表单提交
后来增加了excel批量导入的功能,但是这个接口没有判断数据重复,覆盖更新
导致线上环境出现大量重复数据
如果要保证数据库不出现重复数据,可以添加唯一索引来限制

参考:Mysql重复数据查重保留一条(id自增)

-- 连表删除delete t_userfrom t_user,(SELECT   min(id) id,   username  FROM   t_user  GROUP BY   username  HAVING   count(*) > 1) t2where t_user.username = t2.username-- 删除重复的比最小id大的数据,即保留id最小的那条数据and t_user.id > t2.id

改造:主键为uuid

简单版

-- 每次都是取的最早的id-- 多执行几次DELETE from test_table_02 where id in (SELECT SUBSTRING_INDEX(ids, ',', 1) id from (select GROUP_CONCAT(id ORDER BY created_time) ids, type, name, customer, `year_month`, count(1) c from test_table_02 GROUP BY type, name, customer, `year_month`having c > 1) aaaa)

扩展:截取第一个id的2种方式

方式1:使用SUBSTRING_INDEX() 函数
set @ids = '12,3,4,5,6';-- SUBSTRING_INDEX() 函数返回一个字符串中指定分隔符出现在指定次数【之前】的子字符串-- SUBSTRING_INDEX(str, delim, count)-- 从头开始,截取到第几个分隔符select SUBSTRING_INDEX(@ids, ',', 1); -- 12select SUBSTRING_INDEX(@ids, ',', 2); -- 12,3
方式2:INSTR() 和 LEFT() 函数结合
set @ids = '12,3,4,5,6';-- INSTR() 函数返回一个子字符串在一个字符串中【第一次】出现的位置的数字索引。 -- INSTR() 函数是不区分大小写的。-- 与java不同,下标从1开始,即为到这个字符位置的字符串长度select INSTR(@ids,','); -- 3-- LEFT() 函数从指定字符串的左侧 返回指定数量的字符组成的字符串。-- LEFT(string, length)-- 从头开始,截取指定长度select left(@ids, INSTR(@ids,',')-1); -- 12

加强版:一次性全部删除

select a.id from test_table_02 aINNER JOIN (select ids from(-- 保留第一个 截取第2个到最后一个idselect SUBSTR(ids,INSTR(ids,',')+1) ids from (-- 保留最后一个 截取第1个到倒数第2个id-- select left(ids, (CHAR_LENGTH(ids)-INSTR(reverse(ids),',') ) ) from (select GROUP_CONCAT(id ORDER BY created_time) ids, type, name, customer, `year_month`, count(1) c from test_table_02 GROUP BY type, name, customer, `year_month`having c > 1) aaaa) bbb) b on FIND_IN_SET(a.id, b.ids)

扩展

求长度时,注意length()、char_length()的区别
保留第一个:使用SUBSTR() 函数
set @ids = '12,3,4,5,6';-- MySQL SUBSTR() 函数从一个字符串中返回一个【从指定位置开始】的【指定长度】的子字符串。-- 可以传2个参数,也可以传3个,不传第3个参数len,指定长度,就是到结尾-- SUBSTR(str, pos)-- SUBSTR(str, pos, len)-- 从第2个id开始取到结尾 保留第一个select SUBSTR(@ids, INSTR(@ids,',') + 1) -- 3,4,5,6
保留最后一个:left() 函数
set @ids = '12,3,4,5,6';-- 从头取到倒数第二个 保留最后一个-- REVERSE() 函数返回反转后的字符串-- CHAR_LENGTH() 返回给定字符串的长度,注意与 LENGTH() 区别,LENGTH()函数返回指定字符串的以字节为单位的长度 -- UTF-8,一个中文字占用 3 个字节select left(@ids, (CHAR_LENGTH(@ids)-INSTR(reverse(@ids),','))) -- 12,3,4,5

来源地址:https://blog.csdn.net/weixin_44174211/article/details/129412634

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-数据库
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯