0
点赞
收藏
分享

微信扫一扫

Hibernate 批量插入、更新与删除



批量插入

     在项目的开发过程之中,由于项目需求,我们常常需要把大批量的数据插入到数据库。数量级有万级、十万级、百万级、甚至千万级别的。如此数量级别的数据用Hibernate做插入操作,就可能会发生异常,常见的异常是OutOfMemoryError(内存溢出异常)。

    首先,我们简单来回顾一下Hibernate插入操作的机制。Hibernate要对它内部缓存进行维护,当我们执行插入操作时,就会把要操作的对象全部放到自身的内部缓存来进行管理。

    谈到Hibernate的缓存,Hibernate有内部缓存与二级缓存之说。由于Hibernate对这两种缓存有着不同的管理机制,对于二级缓存,我们可以对它的大小进行相关配置,而对于内部缓存,Hibernate就采取了“放任自流”的态度了,对它的容量并没有限制。现在症结找到了,我们做海量数据插入的时候,生成这么多的对象就会被纳入内部缓存(内部缓存是在内存中做缓存的),这样你的系统内存就会一点一点的被蚕食,如果最后系统被挤“炸”了,也就在情理之中了。

    我们想想如何较好的处理这个问题呢?有的开发条件又必须使用Hibernate来处理,当然有的项目比较灵活,可以去寻求其他的方法。

    笔者在这里推荐两种方法:
  (1):优化Hibernate,程序上采用分段插入及时清除缓存的方法。
   
    对于上述中的方法1,其基本是思路为:优化Hibernate,在配置文件中设置hibernate.jdbc.batch_size参数,来指定每次提交SQL的数量;程序上采用分段插入及时清除缓存的方法(Session实现了异步write-behind,它允许Hibernate显式地写操作的批处理),也就是每插入一定量的数据后及时的把它们从内部缓存中清除掉,释放占用的内存。
    


<hibernate-configuration>
<session-factory>
.........
<property name=” hibernate.jdbc.batch_size”>50</property>
.........
<session-factory>
<hibernate-configuration>

配置hibernate.jdbc.batch_size参数的原因就是尽量少读数据库,hibernate.jdbc.batch_size参数值越大,读数据库的次数越少,速度越快。从上面的配置可以看出,Hibernate是等到程序积累到了50个SQL之后再批量提交。

    笔者也在想,hibernate.jdbc.batch_size参数值也可能不是设置得越大越好,从性能角度上讲还有待商榷。这要考虑实际情况,酌情设置,一般情形设置30、50就可以满足需求了。
   

Session session=HibernateUtil.currentSession();
 Transatcion tx=session.beginTransaction();
for(int i=0;i<10000;i++)
{
    =new Student();
     st.setName(“feifei”);
      // 以每50个数据作为一个处理单元
  (i%50==0) 
   {
             session.flush();  
      // 清除内部缓存的全部数据,及时释放出占用的内存
       session.clear(); 
  
}
tx.commit();
 .........

在一定的数据规模下,这种做法可以把系统内存资源维持在一个相对稳定的范围。

    注意:前面提到二级缓存,笔者在这里有必要再提一下。如果启用了二级缓存,从机制上讲Hibernate为了维护二级缓存,我们在做插入、更新、删除操作时,Hibernate都会往二级缓存充入相应的数据。性能上就会有很大损失,所以笔者建议在批处理情况下禁用二级缓存。

   

些方法请参照java 批处理自执行SQL

看看上面的代码,是不是总觉得有不妥的地方?对,没发现么!这还是JDBC的传统编程,没有一点Hibernate味道。
   

Transaction tx=session.beginTransaction(); //使用Hibernate事务处理
 边界Connection conn=session.connection();  
PrepareStatement stmt=conn.prepareStatement(“insert into T_STUDENT(name) values(?)”);
for(int j=0;j++;j<200)...{
for(int i=0;i++;j<50)
...{
 stmt.setString(1,”feifei”);
 }
}
stmt.executeUpdate();
 tx.commit(); //使用 Hibernate事务处理边界 
.........

这样改动就很有Hibernate的味道了。笔者经过测试,采用JDBC API来做批量处理,性能上比使用Hibernate API要高将近10倍,性能上JDBC 占优这是无疑的。

批量更新与删除

    Hibernate2中,对于批量更新操作,Hibernate是将符合要求的数据查出来,然后再做更新操作。批量删除也是这样,先把符合条件的数据查出来,然后再做删除操作。
    这样有两个大缺点:
    (1):占用大量的内存。
    (2):处理海量数据的时候,执行update/delete语句就是海量了,而且一条update/delete语句只能操作一个对象,这样频繁的操作数据库,性能低下应该是可想而知的了。
    

Transaction tx=session.beginSession();
 String HQL=”delete STUDENT”;
 Query query=session.createQuery(HQL);
int size=query.executeUpdate();
 tx.commit();
 .......

控制台输出了也就一条删除语句Hibernate:delete from T_STUDENT,语句执行少了,性能上也与使用JDBC相差无几,是一个提升性能很好的方法。当然为了有更好的性能,笔者建议批量更新与删除操作还是使用JDBC,方法以及基本的知识点与上面的批量插入方法2基本相同,这里就不在冗述。

    笔者这里再提供一个方法,就是从数据库端来考虑提升性能,在Hibernate程序端调用存储过程。存储过程在数据库端运行,速度更快。以批量更新为例,给出参考代码。
   

create or replace produre batchUpdateStudent(a in number)  as
begin
 update STUDENT set AGE=AGE+1 where AGE>a;
 end;
 调用代码如下:
 Transaction tx=session.beginSession();
 Connection conn=session.connection();
 String pd=”...{call batchUpdateStudent(?)}”;
 CallableStatement cstmt=conn.PrepareCall(pd);
 cstmt.setInt(1,20); //把年龄这个参数设为20 
tx.commit();



观察上面的代码,也是绕过Hibernate API,使用 JDBC API来调用存储过程,使用的还是Hibernate的事务边界。存储过程无疑是提高批量处理性能的一个好方法,直接运行与数据库端,某种程度上讲把批处理的压力转接给了数据库。

    三:编后语
    本文探讨了Hibernate的批处理操作,出发点都是在提高性能上考虑了,也只是提供了提升性能的一个小方面。
   

 

 

===============
hibernate批量保存原理
数据的保存,更新和删除:
    1、Session.save()方法:
 Session.save()方法用于实体对象的持久化保存,也就是说当执行session.save()方法时会生成对应的insert SQL语句,完成数据的保存。如下面的代码:
 User user=new User();
 user.setName(“zx”);
 Transaction tx=session.beginTransaction();
 session.save(user);
 tx.commit();


当执行到session.save()方法时,Hibernate并不会马上生成insert SQL语句来进行数据的保存,而是当稍后清理session的缓存时才有可能执行insert SQL语句,那么session.save()方法到底会执行哪些步骤呢?请看进行了如下总结:
一、           在session的内部缓存中寻找保存对象,如果找到了,则认为此数据已经保存(曾经执行过insert操作),实体对象已经处于persistent状态,直接返回。此时即使数据相比之前的状态发生了变化,也将在事务提交时由脏数据检查来判定是否需要执行update操作。
二、           如果实体对象实现了lifecycle接口,那么将执行待保存对象的onSave()方法。
三、           如果实体对象实现了Validatable接口,那么将会执行相应的validate()方法。
四、           如果存在拦截器对象,那么将会执行Interceptor.onSave()方法。
五、           构造insert SQL语句完成数据保存。
六、           数据保存成功后,设定实体对象的id为插入记录的id。
七、           将保存后的实体对象纳入Hibernate的内部缓存(一级缓存)。注意Hibernate不会把保存后的实体对象纳入二级缓存,因为刚刚保存过的实体对象很可能在之后被修改,缓存的频繁更新以及带来的同步问题代价,超出了缓存该对象所带来的收益。
八、           最后如果该对象有关联对象,那么将会递归处理该级联对象。

举报

相关推荐

0 条评论