文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

如何用mybatis快速插入大量数据?

2023-09-25 08:43

关注

在公司业务开发过程中,经常会遇到需要往数据库表中插入大量数据的一个场景,如excel批量导入数据,如何快速的去插入数据呢,可以考虑使用批量插入(实测每秒能达到35000条,后附具体代码)

JDBC实现方式:

  1. 用一个 for 循环,把数据一条一条的插入。

  2. 生成一条插入 sql,类似这种 insert into user(name,pwd) values('aa','123'),('cc','123')...

第一种方案,就是用 for 循环循环插入:

第二种方案,就是生成一条 SQL 插入:

采用第二种方式进行改良

具体实现思路:

想要拉高插入效率,肯定不能够一条一条插了,必须得foreach批量插入。

采用多线程进行异步插入,提升性能

我们不可能单次提交多次insert,大量插入操作会很耗时,短时间内完不成,可以采用定时任务

直接上代码操作!!

创建maven工程

SpringBoot整合mybatis实现

创建表:

CREATE TABLE `user` (  `id` INT(11) NOT NULL AUTO_INCREMENT,  `username` VARCHAR(30) DEFAULT NULL,  `pwd` VARCHAR(20) DEFAULT NULL,  `sex` INT(11) DEFAULT NULL,  `birthday` DATETIME DEFAULT NULL,  PRIMARY KEY (`id`)) ENGINE=MyISAM  DEFAULT CHARSET=utf8

注意:MyISAM效率会比INNODB快。

pom.xml

    org.springframework.boot    spring-boot-starter-parent    2.3.4.RELEASE            org.mybatis.spring.boot        mybatis-spring-boot-starter        2.1.0                mysql        mysql-connector-java                org.springframework.boot        spring-boot-starter-web                org.projectlombok        lombok        true                org.springframework.boot        spring-boot-starter-test        test    

启动类

@SpringBootApplication@EnableScheduling //开启定时任务public class BatchApplication {    public static void main(String[] args) {​        SpringApplication.run(BatchApplication.class,args);    }}

application.yml

server:  port: 9999​spring:  datasource:    driver-class-name: com.mysql.cj.jdbc.Driver    url: jdbc:mysql://localhost:3306/springboot?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=UTC    username: root    password: 123​mybatis:  mapper-locations: classpath:mybatis/*.xml  type-aliases-package: com.qfedu.model

User.java

@Datapublic class User {    private int id;    private String username;    private String pwd;    private int sex;    private LocalDate birthday;}​

UserMapper.java

@Mapperpublic interface UserMapper {    void insertBatch(@Param("userList") List userList);}

UserMapper.xml

​            insert  into user (username,pwd,sex,birthday) values                    (#{item.username}, #{item.pwd}, #{item.sex}, #{item.birthday})        ​    

业务层采用定时任务

SpringBoot默认整合了scheduled,使用步骤:

业务层方法中开启的线程可以根据当前机器的配置来修改,这里开了7个线程,每个线程去执行20次循环,一次添加5000条数据,注意mybatis批量插入的时候不建议超过10000条错误,容易产生,主要是数据量过大,栈内存溢出了。

@Componentpublic class UserServiceImpl {    @Autowired    private UserMapper userMapper;    @Autowired    //线程池    private ThreadPoolExecutor executor;    @Scheduled(cron = "0/20 * * * * ?") //每隔20秒执行一次    public void  addList(){        System.out.println("定时器被触发");        long start = System.currentTimeMillis();        for (int i = 0; i < 7; i++) {​            Thread thread = new Thread(() -> {                try {                    for (int j = 0; j < 20; j++) {                        userMapper.addList(UserUtil.getUsers(5000));                    }                } catch (Exception e) {                    e.printStackTrace();                }            });            try {                executor.execute(thread);            } catch (Exception e) {                System.out.println(e.getMessage());            }        }    }}

生成对象的util

public class UserUtil {    private static Random random = new Random();    public static List getUsers(int num){        List users = new ArrayList<>();        for (int i = 0;i

线程池配置

线程池参数:

corePoolSize 核心线程数,在线程池中要保证的最小线程数

mainumPoolSize 最大线程数,线程池中能运行的最大线程数

keepAliveTime 保证存活时间,当线程空闲时间,多久会回收线程。

unit 和keepAliveTime配合使用,时间单位

workQueue 工作队列,用于存储任务在任务被执行之前

@Configurationpublic class ThreadPoolExecutorConfig {    @Bean    public ThreadPoolExecutor threadPoolExecutor() {        //线程池中6个线程,最大8个线程,用于缓存任务的阻塞队列数5个        ThreadPoolExecutor executor = new ThreadPoolExecutor(6, 8, 5, TimeUnit.SECONDS, new ArrayBlockingQueue<>(100));        executor.allowCoreThreadTimeOut(true);//允许超时        return executor;    }}

完整项目结构

测试

启动引导类

来源地址:https://blog.csdn.net/dengfengan/article/details/127379772

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-数据库
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯