文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

使用uuid作为数据库主键,被技术总监怼了一顿!

2024-12-03 06:41

关注

 一、摘要

在日常开发中,数据库中主键id的生成方案,主要有三种

数据库自增ID

采用随机数生成不重复的ID

采用jdk提供的uuid

对于这三种方案,我发现在数据量少的情况下,没有特别的差异,但是当单表的数据量达到百万级以上时候,他们的性能有着显著的区别,光说理论不行,还得看实际程序测试,今天小编就带着大家一探究竟!

二、程序实例

首先,我们在本地数据库中创建三张单表tb_uuid_1、tb_uuid_2、tb_uuid_3,同时设置tb_uuid_1表的主键为自增长模式,脚本如下:

  1. CREATE TABLE `tb_uuid_1` ( 
  2.   `id` bigint(20) unsigned NOT NULL AUTO_INCREMENT, 
  3.   `namevarchar(20) DEFAULT NULL
  4.   PRIMARY KEY (`id`) 
  5. ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci COMMENT='主键ID自增长'
  1. CREATE TABLE `tb_uuid_2` ( 
  2.   `id` bigint(20) unsigned NOT NULL
  3.   `namevarchar(20) DEFAULT NULL
  4.   PRIMARY KEY (`id`) 
  5. ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci COMMENT='主键ID随机数生成'
  1. CREATE TABLE `tb_uuid_3` ( 
  2.   `id` varchar(50)  NOT NULL
  3.   `namevarchar(20) DEFAULT NULL
  4.   PRIMARY KEY (`id`) 
  5. ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci COMMENT='主键采用uuid生成'

下面,我们采用Springboot + mybatis来实现插入测试。

2.1、数据库自增

以数据库自增为例,首先编写好各种实体、数据持久层操作,方便后续进行测试

  1.  
  2. public class UUID1 implements Serializable { 
  3.  
  4.     private Long id; 
  5.  
  6.     private String name
  7.    
  8.   //省略set、get 
  1.  
  2. public interface UUID1Mapper { 
  3.  
  4.      
  5.     @Insert("INSERT INTO tb_uuid_1(name) VALUES(#{name})"
  6.     void insert(UUID1 uuid1); 
  1.  
  2. @Test 
  3. public void testInsert1(){ 
  4.     long start = System.currentTimeMillis(); 
  5.     for (int i = 0; i < 1000000; i++) { 
  6.         uuid1Mapper.insert(new UUID1().setName("张三")); 
  7.     } 
  8.     long end = System.currentTimeMillis(); 
  9.     System.out.println("花费时间:" +  (end - start)); 

2.2、采用随机数生成ID

这里,我们采用twitter的雪花算法来实现随机数ID的生成,工具类如下:

  1. public class SnowflakeIdWorker { 
  2.  
  3.     private static SnowflakeIdWorker instance = new SnowflakeIdWorker(0,0); 
  4.  
  5.      
  6.     private final long twepoch = 1420041600000L; 
  7.      
  8.     private final long workerIdBits = 5L; 
  9.      
  10.     private final long datacenterIdBits = 5L; 
  11.      
  12.     private final long maxWorkerId = -1L ^ (-1L << workerIdBits); 
  13.      
  14.     private final long maxDatacenterId = -1L ^ (-1L << datacenterIdBits); 
  15.      
  16.     private final long sequenceBits = 12L; 
  17.      
  18.     private final long workerIdShift = sequenceBits; 
  19.      
  20.     private final long datacenterIdShift = sequenceBits + workerIdBits; 
  21.      
  22.     private final long timestampLeftShift = sequenceBits + workerIdBits + datacenterIdBits; 
  23.      
  24.     private final long sequenceMask = -1L ^ (-1L << sequenceBits); 
  25.      
  26.     private long workerId; 
  27.      
  28.     private long datacenterId; 
  29.      
  30.     private long sequence = 0L; 
  31.      
  32.     private long lastTimestamp = -1L; 
  33.      
  34.     public SnowflakeIdWorker(long workerId, long datacenterId) { 
  35.         if (workerId > maxWorkerId || workerId < 0) { 
  36.             throw new IllegalArgumentException(String.format("worker Id can't be greater than %d or less than 0", maxWorkerId)); 
  37.         } 
  38.         if (datacenterId > maxDatacenterId || datacenterId < 0) { 
  39.             throw new IllegalArgumentException(String.format("datacenter Id can't be greater than %d or less than 0", maxDatacenterId)); 
  40.         } 
  41.         this.workerId = workerId; 
  42.         this.datacenterId = datacenterId; 
  43.     } 
  44.      
  45.     public synchronized long nextId() { 
  46.         long timestamp = timeGen(); 
  47.         // 如果当前时间小于上一次ID生成的时间戳,说明系统时钟回退过这个时候应当抛出异常 
  48.         if (timestamp < lastTimestamp) { 
  49.             throw new RuntimeException( 
  50.                     String.format("Clock moved backwards.  Refusing to generate id for %d milliseconds", lastTimestamp - timestamp)); 
  51.         } 
  52.         // 如果是同一时间生成的,则进行毫秒内序列 
  53.         if (lastTimestamp == timestamp) { 
  54.             sequence = (sequence + 1) & sequenceMask; 
  55.             // 毫秒内序列溢出 
  56.             if (sequence == 0) { 
  57.                 //阻塞到下一个毫秒,获得新的时间戳 
  58.                 timestamp = tilNextMillis(lastTimestamp); 
  59.             } 
  60.         } 
  61.         // 时间戳改变,毫秒内序列重置 
  62.         else { 
  63.             sequence = 0L; 
  64.         } 
  65.         // 上次生成ID的时间截 
  66.         lastTimestamp = timestamp
  67.         // 移位并通过或运算拼到一起组成64位的ID 
  68.         return ((timestamp - twepoch) << timestampLeftShift) // 
  69.                 | (datacenterId << datacenterIdShift) // 
  70.                 | (workerId << workerIdShift) // 
  71.                 | sequence
  72.     } 
  73.      
  74.     protected long tilNextMillis(long lastTimestamp) { 
  75.         long timestamp = timeGen(); 
  76.         while (timestamp <= lastTimestamp) { 
  77.             timestamp = timeGen(); 
  78.         } 
  79.         return timestamp
  80.     } 
  81.      
  82.     protected long timeGen() { 
  83.         return System.currentTimeMillis(); 
  84.     } 
  85.  
  86.     public static SnowflakeIdWorker getInstance(){ 
  87.         return instance; 
  88.     } 
  89.  
  90.  
  91.     public static void main(String[] args) throws InterruptedException { 
  92.         SnowflakeIdWorker idWorker = SnowflakeIdWorker.getInstance(); 
  93.         for (int i = 0; i < 10; i++) { 
  94.             long id = idWorker.nextId(); 
  95.             Thread.sleep(1); 
  96.             System.out.println(id); 
  97.         } 
  98.     } 

其他的操作,与上面类似。

2.3、uuid

同样的,uuid的生成,我们事先也可以将工具类编写好:

  1. public class UUIDGenerator { 
  2.  
  3.      
  4.     public static String getUUID(){ 
  5.         return UUID.randomUUID().toString(); 
  6.     } 

最后的单元测试,代码如下:

  1. @RunWith(SpringRunner.class) 
  2. @SpringBootTest() 
  3. public class UUID1Test { 
  4.  
  5.     private static final Integer MAX_COUNT = 1000000; 
  6.  
  7.     @Autowired 
  8.     private UUID1Mapper uuid1Mapper; 
  9.  
  10.     @Autowired 
  11.     private UUID2Mapper uuid2Mapper; 
  12.  
  13.     @Autowired 
  14.     private UUID3Mapper uuid3Mapper; 
  15.  
  16.      
  17.     @Test 
  18.     public void testInsert1(){ 
  19.         long start = System.currentTimeMillis(); 
  20.         for (int i = 0; i < MAX_COUNT; i++) { 
  21.             uuid1Mapper.insert(new UUID1().setName("张三")); 
  22.         } 
  23.         long end = System.currentTimeMillis(); 
  24.         System.out.println("自增ID,花费时间:" +  (end - start)); 
  25.     } 
  26.  
  27.      
  28.     @Test 
  29.     public void testInsert2(){ 
  30.         long start = System.currentTimeMillis(); 
  31.         for (int i = 0; i < MAX_COUNT; i++) { 
  32.             long id = SnowflakeIdWorker.getInstance().nextId(); 
  33.             uuid2Mapper.insert(new UUID2().setId(id).setName("张三")); 
  34.         } 
  35.         long end = System.currentTimeMillis(); 
  36.         System.out.println("花费时间:" +  (end - start)); 
  37.     } 
  38.  
  39.      
  40.     @Test 
  41.     public void testInsert3(){ 
  42.         long start = System.currentTimeMillis(); 
  43.         for (int i = 0; i < MAX_COUNT; i++) { 
  44.             String id = UUIDGenerator.getUUID(); 
  45.             uuid3Mapper.insert(new UUID3().setId(id).setName("张三")); 
  46.         } 
  47.         long end = System.currentTimeMillis(); 
  48.         System.out.println("花费时间:" +  (end - start)); 
  49.     } 

三、性能测试

程序环境搭建完成之后,啥也不说了,直接撸起袖子,将单元测试跑起来!

首先测试一下,插入100万数据的情况下,三者直接的耗时结果如下:

在原有的数据量上,我们继续插入30万条数据,三者耗时结果如下:

可以看出在数据量 100W 左右的时候,uuid的插入效率垫底,随着插入的数据量增长,uuid 生成的ID插入呈直线下降!

时间占用量总体效率排名为:自增ID > 雪花算法生成的ID >> uuid生成的ID。

在数据量较大的情况下,为什么uuid生成的ID远不如自增ID呢?

关于这点,我们可以从 mysql 主键存储的内部结构来进行分析。

3.1、自增ID内部结构

自增的主键的值是顺序的,所以 Innodb 把每一条记录都存储在一条记录的后面。

当达到页面的最大填充因子时候(innodb默认的最大填充因子是页大小的15/16,会留出1/16的空间留作以后的修改),会进行如下操作:

3.2、使用uuid的索引内部结构

uuid相对顺序的自增id来说是毫无规律可言的,新行的值不一定要比之前的主键的值要大,所以innodb无法做到总是把新行插入到索引的最后,而是需要为新行寻找新的合适的位置从而来分配新的空间。

这个过程需要做很多额外的操作,数据的毫无顺序会导致数据分布散乱,将会导致以下的问题:

在把值载入到聚簇索引(innodb默认的索引类型)以后,有时候会需要做一次OPTIMEIZE TABLE来重建表并优化页的填充,这将又需要一定的时间消耗。

因此,在选择主键ID生成方案的时候,尽可能别采用uuid的方式来生成主键ID,随着数据量越大,插入性能会越低!

四、总结

在实际使用过程中,推荐使用主键自增ID和雪花算法生成的随机ID。

但是使用自增ID也有缺点:

别人一旦爬取你的数据库,就可以根据数据库的自增id获取到你的业务增长信息,很容易进行数据窃取。2、其次,对于高并发的负载,innodb在按主键进行插入的时候会造成明显的锁争用,主键的上界会成为争抢的热点,因为所有的插入都发生在这里,并发插入会导致间隙锁竞争。

总结起来,如果业务量小,推荐采用自增ID,如果业务量大,推荐采用雪花算法生成的随机ID。

本篇文章主要从实际程序实例出发,讨论了三种主键ID生成方案的性能差异, 鉴于笔者才疏学浅,可能也有理解不到位的地方,欢迎网友们批评指出!

 

来源:Java极客技术内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯