1. 思路分析:
批量插入是我们日常开放经常会使用到的场景,一般情况下我们也会有两种方案进行实施,如下所示。
方案一 就是用 for 循环循环插入:
优点:JDBC 中的 PreparedStatement 有预编译功能,预编译之后会缓存起来,后面的 SQL 执行会比较快并且JDBC 可以开启批处理,这个批处理执行非常给力。
缺点:很多时候我们的 SQL 服务器和应用服务器可能并不是同一台,所以必须要考虑网络 IO,如果网络 IO 比较费时间的话,那么可能会拖慢
SQL 执行的速度。
再来说第二种方案,就是生成一条 SQL 插入:
优势:这种方案的优势在于只有一次网络 IO,即使分片处理也只是数次网络 IO,所以这种方案不会在网络 IO 上花费太多时间。
缺点一是 SQL 太长了,甚至可能需要分片后批量处理;
缺点二是无法充分发挥 PreparedStatement 预编译的优势,SQL 要重新解析且无法复用;三是最终生成的 SQL
太长了,数据库管理器解析这么长的 SQL 也需要时间。
2. rewriteBatchedStatements=true
在jdbc连接后面加上 rewriteBatchedStatements=true ,加上后才是真正的批量插入。
jdbc:mysql://127.0.0.1:3306/test?useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=true&serverTimezone=GMT%2B8&rewriteBatchedStatements=true
3.使用mybatis批量插入:
方案一:使用foreach进行插入(生成一条 SQL 插入)
mapper文件
<insert id="save" parameterType="java.util.List"> INSERT INTO test ( id, a, b, c ) VALUES <foreach collection="list" item="item" index="index" separator=","> ( #{item.id}, #{item.a}, #{item.b}, #{item.c} ) </foreach> </insert>
调用方法
@Override public void add() { //时间 一 long l = System.currentTimeMillis(); List<TestEntity> list=new ArrayList<>(); for (int i=0;i<1000;i++){ TestEntity testEntity=new TestEntity(); testEntity.setC(i); list.add(testEntity); } testMapper.save(list); //时间 二 long l1 = System.currentTimeMillis(); System.out.println("耗时"+(l1-l)); }
插入了1000条数据,耗时535毫秒。
插入了50000条数据,直接报错。
报错原因是因为我们一条SQL进行插入导致SQL太长
解决办法:
1.修改MySQL配置
2.对新增数据进行分片
方案二:一条条插入
mapper
<insert id="addUserOneByOne" parameterType="com.ruoyi.system.domain.TestEntity"> insert into test (id,a,b,c) values (#{id},#{a},#{b},#{c}) </insert>
测试代码
@Servicepublic class TestServiceimpl extends ServiceImpl<TestMapper, TestEntity> implements TestService { @Autowired private TestMapper testMapper; @Autowired private SqlSessionFactory sqlSessionFactory; public void addUserOneByOne(List<TestEntity> users) { SqlSession session = sqlSessionFactory.openSession(ExecutorType.BATCH); TestMapper um = session.getMapper(TestMapper.class); long startTime = System.currentTimeMillis(); for (TestEntity user : users) { um.addUserOneByOne(user); } session.commit(); long endTime = System.currentTimeMillis(); System.out.println("耗时"+(endTime - startTime)); }}
插入了1000条数据,耗时959毫秒。
插入50000条数据,耗时11214毫秒。
对比分析:
如果我们批量插入少部分数据,可以使用方式一,一条SQL进行插入。这样是比较快的。
如果我们插入数据达到,1w条,10来万条,这时建议用方式二进行插入是比较快的。
4. 使用mybatisplus批量插入
使用saveBatch()方法进行批量插入
@Servicepublic class TestServiceimpl extends ServiceImpl<TestMapper, TestEntity> implements TestService { @Autowired private TestMapper testMapper; @Autowired private SqlSessionFactory sqlSessionFactory; @Override public void add() { //时间 一 long l = System.currentTimeMillis(); List<TestEntity> list=new ArrayList<>(); for (int i=0;i<50000;i++){ TestEntity testEntity=new TestEntity(); testEntity.setC(i); list.add(testEntity); } saveBatch(list); //时间 二 long l1 = System.currentTimeMillis(); System.out.println("耗时"+(l1-l)); }
插入50000条数据,耗时19516毫秒
源码分析
public boolean saveBatch(Collection<T> entityList, int batchSize) { String sqlStatement = this.getSqlStatement(SqlMethod.INSERT_ONE); return this.executeBatch(entityList, batchSize, (sqlSession, entity) -> { sqlSession.insert(sqlStatement, entity); }); }
这里注意 return 中的第三个参数,是一个 lambda 表达式,这也是 MP 中批量插入的核心逻辑,可以看到,MP 先对数据进行分片(默认分片大小是 1000),分片完成之后,也是一条一条的插入。
public static <E> boolean executeBatch(Class<?> entityClass, Log log, Collection<E> list, int batchSize, BiConsumer<SqlSession, E> consumer) { Assert.isFalse(batchSize < 1, "batchSize must not be less than one", new Object[0]); return !CollectionUtils.isEmpty(list) && executeBatch(entityClass, log, (sqlSession) -> { int size = list.size(); int i = 1; for(Iterator var6 = list.iterator(); var6.hasNext(); ++i) { E element = var6.next(); consumer.accept(sqlSession, element); if (i % batchSize == 0 || i == size) { sqlSession.flushStatements(); } } }); }
继续查看 executeBatch 方法,就会发现这里的 sqlSession 其实也是一个批处理的 sqlSession,并非普通的 sqlSession。和我们mybatis使用的方法二一致。
5业务场景一对多怎么处理:
比如,如下这种一对多场景。
新增的时候保存都好理解,形成一个数组一起保存。
而修改的时候就有点难处理了,比如我修改了第二条,删除了第三条,这时统一保存应该怎么处理?
使用 ON DUPLICATE KEY UPDATE (发生主键冲突就更新,没有发生主键冲突就新增)
有时候由于业务需求,可能需要先去根据某一字段值查询数据库中是否有记录,有则更新,没有则插入。这个时候就可以用到ON DUPLICATE key update这个sql语句了
mapper如下所示
<insert id="save" parameterType="java.util.List"> INSERT INTO test ( id, a, b, c ) VALUES <foreach collection="list" item="item" index="index" separator=","> ( #{item.id}, #{item.a}, #{item.b}, #{item.c} ) </foreach> ON DUPLICATE KEY UPDATE id=id, a = VALUES(a) , b = VALUES(b), c = VALUES(c) </insert>
或者在使用mybatisplus时,使用saveOrUpdate()方法进行一条数据的新增或更新。 saveOrUpdateBatch()方法进行批量数据的新增或更新。
梅西“消除厄运”卡
新冠,退退退!
梅老板,冲冲冲!
三星阿根廷,加油!
来源地址:https://blog.csdn.net/qq_48157004/article/details/128288597