文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

MyBatis原生批量插入的坑与解决方案!

2024-12-02 19:21

关注

作者 | 王磊

来源 | Java中文社群(ID:javacn666)

转载请联系授权(微信ID:GG_Stone)

前面的文章咱们讲了 MyBatis 批量插入的 3 种方法:循环单次插入、MyBatis Plus 批量插入、MyBatis 原生批量插入,详情请点击《MyBatis 批量插入数据的 3 种方法!》。

但之前的文章也有不完美之处,原因在于:使用 「循环单次插入」的性能太低,使用「MyBatis Plus 批量插入」性能还行,但要额外的引入 MyBatis Plus 框架,使用「MyBatis 原生批量插入」性能最好,但在插入大量数据时会导致程序报错,那么,今天咱们就会提供一个更优的解决方案。

原生批量插入的“坑”

首先,我们来看一下 MyBatis 原生批量插入中的坑,当我们批量插入 10 万条数据时,实现代码如下:

  1. import com.example.demo.model.User
  2. import com.example.demo.service.impl.UserServiceImpl; 
  3. import org.junit.jupiter.api.Test; 
  4. import org.springframework.beans.factory.annotation.Autowired; 
  5. import org.springframework.boot.test.context.SpringBootTest; 
  6.  
  7. import java.util.ArrayList; 
  8. import java.util.List; 
  9.  
  10. @SpringBootTest 
  11. class UserControllerTest { 
  12.  
  13.     // 最大循环次数 
  14.     private static final int MAXCOUNT = 100000; 
  15.  
  16.     @Autowired 
  17.     private UserServiceImpl userService; 
  18.      
  19.      
  20.     @Test 
  21.     void saveBatchByNative() { 
  22.         long stime = System.currentTimeMillis(); // 统计开始时间 
  23.         List<User> list = new ArrayList<>(); 
  24.         for (int i = 0; i < MAXCOUNT; i++) { 
  25.             User user = new User(); 
  26.             user.setName("test:" + i); 
  27.             user.setPassword("123456"); 
  28.             list.add(user); 
  29.         } 
  30.         // 批量插入 
  31.         userService.saveBatchByNative(list); 
  32.         long etime = System.currentTimeMillis(); // 统计结束时间 
  33.         System.out.println("执行时间:" + (etime - stime)); 
  34.     } 

核心文件 UserMapper.xml 中的实现代码如下:

  1. "1.0" encoding="UTF-8"?> 
  2. PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd"
  3. "com.example.demo.mapper.UserMapper"
  4.     <insert id="saveBatchByNative"
  5.         INSERT INTO `USER`(`NAME`,`PASSWORD`) VALUES 
  6.         "list" separator="," item="item"
  7.             (#{item.name},#{item.password}) 
  8.          
  9.     insert
  10.  
  11.  

当我们开心地运行以上程序时,就出现了以下的一幕:

沃,程序竟然报错了!

这是因为使用 MyBatis 原生批量插入拼接的插入 SQL 大小是 4.56M,而默认情况下 MySQL 可以执行的最大 SQL 为 4M,那么在程序执行时就会报错了。

解决方案

以上的问题就是因为批量插入时拼接的 SQL 文件太多了,所以导致 MySQL 的执行报错了。那么我们第一时间想到的解决方案就是将大文件分成 N 个小文件,这样就不会因为 SQL 太大而导致执行报错了。也就是说,我们可以将待插入的 List 集合分隔为多个小 List 来执行批量插入的操作,而这个操作过程就叫做 List 分片。

有了处理思路之后,接下来就是实践了,那如何对集合进行分片操作呢?

分片操作的实现方式有很多种,这个我们后文再讲,接下来我们使用最简单的方式,也就是 Google 提供的 Guava 框架来实现分片的功能。

分片 Demo 实战

要实现分片功能,第一步我们先要添加 Guava 框架的支持,在 pom.xml 中添加以下引用:

  1. -- google guava 工具类 --> 
  2. -- https://mvnrepository.com/artifact/com.google.guava/guava --> 
  3.  
  4.   com.google.guava 
  5.   guava 
  6.   31.0.1-jre 
  7.  

接下来我们写一个小小的 demo,将以下 7 个人名分为 3 组(每组最多 3 个),实现代码如下:

  1. import com.google.common.collect.Lists; 
  2.  
  3. import java.util.Arrays; 
  4. import java.util.List; 
  5.  
  6.  
  7. public class PartitionByGuavaExample { 
  8.     // 原集合 
  9.     private static final List OLD_LIST = Arrays.asList( 
  10.             "唐僧,悟空,八戒,沙僧,曹操,刘备,孙权".split(",")); 
  11.  
  12.     public static void main(String[] args) { 
  13.         // 集合分片 
  14.         List> newList = Lists.partition(OLD_LIST, 3); 
  15.         // 打印分片集合 
  16.         newList.forEach(i -> { 
  17.             System.out.println("集合长度:" + i.size()); 
  18.         }); 
  19.     } 

以上程序的执行结果如下:

从上述结果可以看出,我们只需要使用 Guava 提供的 Lists.partition 方法就可以很轻松的将一个集合进行分片了。

原生批量插入分片实现

那接下来,就是改造我们的 MyBatis 批量插入代码了,具体实现如下:

  1. @Test 
  2. void saveBatchByNativePartition() { 
  3.     long stime = System.currentTimeMillis(); // 统计开始时间 
  4.     List<User> list = new ArrayList<>(); 
  5.     // 构建插入数据 
  6.     for (int i = 0; i < MAXCOUNT; i++) { 
  7.         User user = new User(); 
  8.         user.setName("test:" + i); 
  9.         user.setPassword("123456"); 
  10.         list.add(user); 
  11.     } 
  12.     // 分片批量插入 
  13.     int count = (int) Math.ceil(MAXCOUNT / 1000.0); // 分为 n 份,每份 1000 条 
  14.     ListUser>> listPartition = Lists.partition(list, count); 
  15.     // 分片批量插入 
  16.     for (List<User> item : listPartition) { 
  17.         userService.saveBatchByNative(item); 
  18.     } 
  19.     long etime = System.currentTimeMillis(); // 统计结束时间 
  20.     System.out.println("执行时间:" + (etime - stime)); 

执行以上程序,最终的执行结果如下:

从上图可以看出,之前批量插入时的异常报错不见了,并且此实现方式的执行效率竟比 MyBatis Plus 的批量插入的执行效率要高,MyBatis Plus 批量插入 10W 条数据的执行时间如下:

总结本文我们演示了 MyBatis 原生批量插入时的问题:可能会因为插入的数据太多从而导致运行失败,我们可以通过分片的方式来解决此问题,分片批量插入的实现步骤如下:

  1. 计算出分片的数量(分为 N 批);
  2. 使用 Lists.partition 方法将集合进行分片(分为 N 个集合);
  3. 循环将分片的集合进行批量插入的操作。

 

来源:Java中文社群内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯