0
点赞
收藏
分享

微信扫一扫

mysql大量数据插入优化

心智的年轮 2022-01-12 阅读 60
mysql

场景:插入10000条数据到数据库,表结构user(age,name)

1.普通循环插入

 public void insert() {         

             for (int i = 0; i < 1000; i++) {

                  User u = new User ();

                  u.setAge (i);

                  u.setName (i);

                  userMapper.insert (u);

            }

}

Insert into user(age,name) value(?,?);

Insert into user(age,name) value(?,?);

…….

执行时间:30s。

2.批量插入

我们将普通循环插入数据改为批量插入

 public void insert() {         

       ArrayList<User> list = new ArrayList<>();       

       for (int i = 0; i < 1000; i++) {

                  User u = new User ();

                  u.setAge (i);

                  u.setName (i);

                  list.add(u);

           }

      userMapper.insertBatch (list);

 }

Insert into user(age,name) values(?,?),(?,?),(?,?),(?,?),…..

执行时间:0.03s

批量插入执行效率高的主要原因是合并后日志量(binlog和innodb的事务日志)减少了,降低日志刷盘的数据量和频率,从而提高效率;同时也能减少SQL语句解析的次数,减少网络传输的IO

注意:SQL语句是有长度限制,在进行数据合并在同一SQL中务必不能超过SQL长度限制,通过max_allowed_packet配置可以修改,默认是1M,测试时修改为合适大小。

3. 在事务中循环插入

我们将普通循环插入数据改为在事物中循环插入

@Transactional

public void insert() {         

             for (int i = 0; i < 1000; i++) {

                User u = new User ();

                u.setAge (i);

                u.setName (i);

                userMapper.insert (u);

            }

}

start  transaction;

Insert into user(age,name) value(?,?);

Insert into user(age,name) value(?,?);

…….

Commit;

执行时间:0.3s

这是因为在普通循环中每进行一个INSERT操作时,MySQL内部都会建立一个事务,在事务内才进行真正插入处理操作。在事物中循环插入可以减少创建事务的消耗,所有插入都在执行后才进行提交操作。

注意:事务需要控制大小,事务太大可能会影响执行的效率。MySQL有innodb_log_buffer_size配置项,超过这个值会把innodb的数据刷到磁盘中,这时,效率会有所下降。所以比较好的做法是,在数据达到这个这个值前进行事务提交

举报

相关推荐

0 条评论