0.写在前面
MyBatis是一个简单,小巧但功能非常强大的ORM开源框架,它的功能强大也体现在它的缓存机制上。MyBatis提供了一级缓存、二级缓存 这两个缓存机制,能够很好地处理和维护缓存,以提高系统的性能。本文的目的则是向读者详细介绍MyBatis的一级缓存,深入源码,解析MyBatis一级缓存的实现原理,并且针对一级缓存的特点提出了在实际使用过程中应该注意的事项。
读完本文,你将会学到:
1、什么是一级缓存?为什么使用一级缓存?
2、MyBatis的一级缓存是怎样组织的?(即SqlSession对象中的缓存是怎样组织的?)
3、一级缓存的生命周期有多长?
4、Cache接口的设计以及CacheKey的定义
5、一级缓存的性能分析以及应该注意的事项
1. 什么是一级缓存? 为什么使用一级缓存?
每当我们使用MyBatis开启一次和数据库的会话,MyBatis会创建出一个SqlSession对象表示一次数据库会话。
在对数据库的一次会话中,我们有可能会反复地执行完全相同的查询语句,如果不采取一些措施的话,每一次查询都会查询一次数据库,而我们在极短的时间内做了完全相同的查询,那么它们的结果极有可能完全相同,由于查询一次数据库的代价很大,这有可能造成很大的资源浪费。
为了解决这一问题,减少资源的浪费,MyBatis会在表示会话的SqlSession对象中建立一个简单的缓存,将每次查询到的结果结果缓存起来,当下次查询的时候,如果判断先前有个完全一样的查询,会直接从缓存中直接将结果取出,返回给用户,不需要再进行一次数据库查询了。
如下图所示,MyBatis会在一次会话的表示----一个SqlSession对象中创建一个本地缓存(local cache),对于每一次查询,都会尝试根据查询的条件去本地缓存中查找是否在缓存中,如果在缓存中,就直接从缓存中取出,然后返回给用户;否则,从数据库读取数据,将查询结果存入缓存并返回给用户。
对于会话(Session)级别的数据缓存,我们称之为一级数据缓存,简称一级缓存。
2. MyBatis中的一级缓存是怎样组织的?(即SqlSession中的缓存是怎样组织的?)
由于MyBatis使用SqlSession对象表示一次数据库的会话,那么,对于会话级别的一级缓存也应该是在SqlSession中控制的。
实际上, MyBatis只是一个MyBatis对外的接口,SqlSession将它的工作交给了Executor执行器这个角色来完成,负责完成对数据库的各种操作。当创建了一个SqlSession对象时,MyBatis会为这个SqlSession对象创建一个新的Executor执行器,而缓存信息就被维护在这个Executor执行器中,MyBatis将缓存和对缓存相关的操作封装成了Cache接口中。SqlSession、Executor、Cache之间的关系如下列类图所示:
1. package org.apache.ibatis.cache.impl;
2.
3. import java.util.HashMap;
4. import java.util.Map;
5. import java.util.concurrent.locks.ReadWriteLock;
6.
7. import org.apache.ibatis.cache.Cache;
8. import org.apache.ibatis.cache.CacheException;
9.
10. /**
11. * 使用简单的HashMap来维护缓存
12. * @author Clinton Begin
13. */
14. public class PerpetualCache implements Cache {
15.
16. private String id;
17.
18. private Map<Object, Object> cache = new HashMap<Object, Object>();
19.
20. public PerpetualCache(String id) {
21. this.id = id;
22. }
23.
24. public String getId() {
25. return id;
26. }
27.
28. public int getSize() {
29. return cache.size();
30. }
31.
32. public void putObject(Object key, Object value) {
33. cache.put(key, value);
34. }
35.
36. public Object getObject(Object key) {
37. return cache.get(key);
38. }
39.
40. public Object removeObject(Object key) {
41. return cache.remove(key);
42. }
43.
44. public void clear() {
45. cache.clear();
46. }
47.
48. public ReadWriteLock getReadWriteLock() {
49. return null;
50. }
51.
52. public boolean equals(Object o) {
53. if (getId() == null) throw new CacheException("Cache instances require an ID.");
54. if (this == o) return true;
55. if (!(o instanceof Cache)) return false;
56.
57. Cache otherCache = (Cache) o;
58. return getId().equals(otherCache.getId());
59. }
60.
61. public int hashCode() {
62. if (getId() == null) throw new CacheException("Cache instances require an ID.");
63. return getId().hashCode();
64. }
65.
66. }
1. package org.apache.ibatis.cache.impl;
2.
3. import java.util.HashMap;
4. import java.util.Map;
5. import java.util.concurrent.locks.ReadWriteLock;
6.
7. import org.apache.ibatis.cache.Cache;
8. import org.apache.ibatis.cache.CacheException;
9.
10. /**
11. * 使用简单的HashMap来维护缓存
12. * @author Clinton Begin
13. */
14. public class PerpetualCache implements Cache {
15.
16. private String id;
17.
18. private Map<Object, Object> cache = new HashMap<Object, Object>();
19.
20. public PerpetualCache(String id) {
21. this.id = id;
22. }
23.
24. public String getId() {
25. return id;
26. }
27.
28. public int getSize() {
29. return cache.size();
30. }
31.
32. public void putObject(Object key, Object value) {
33. cache.put(key, value);
34. }
35.
36. public Object getObject(Object key) {
37. return cache.get(key);
38. }
39.
40. public Object removeObject(Object key) {
41. return cache.remove(key);
42. }
43.
44. public void clear() {
45. cache.clear();
46. }
47.
48. public ReadWriteLock getReadWriteLock() {
49. return null;
50. }
51.
52. public boolean equals(Object o) {
53. if (getId() == null) throw new CacheException("Cache instances require an ID.");
54. if (this == o) return true;
55. if (!(o instanceof Cache)) return false;
56.
57. Cache otherCache = (Cache) o;
58. return getId().equals(otherCache.getId());
59. }
60.
61. public int hashCode() {
62. if (getId() == null) throw new CacheException("Cache instances require an ID.");
63. return getId().hashCode();
64. }
65.
66. }
3.一级缓存的生命周期有多长?
a. MyBatis在开启一个数据库会话时,会 创建一个新的SqlSession对象,SqlSession对象中会有一个新的Executor对象,Executor对象中持有一个新的PerpetualCache对象;当会话结束时,SqlSession对象及其内部的Executor对象还有PerpetualCache对象也一并释放掉。
b. 如果SqlSession调用了close()方法,会释放掉一级缓存PerpetualCache对象,一级缓存将不可用;
c. 如果SqlSession调用了clearCache(),会清空PerpetualCache对象中的数据,但是该对象仍可使用;
d.SqlSession中执行了任何一个update操作(update()、delete()、insert()) ,都会清空PerpetualCache对象的数据,但是该对象可以继续使用;
4. SqlSession 一级缓存的工作流程:
1.对于某个查询,根据statementId,params,rowBounds来构建一个key值,根据这个key值去缓存Cache中取出对应的key值存储的缓存结果;
2. 判断从Cache中根据特定的key值取的数据数据是否为空,即是否命中;
3. 如果命中,则直接将缓存结果返回;
4. 如果没命中:
4.1 去数据库中查询数据,得到查询结果;
key,value对存储到Cache中;
4.3. 将查询结果返回;
5. 结束。
[关于上述工作过程中 key值的构建,我们将在第下一节中重点探讨,这也是MyBatis缓存机制中非常重要的一个概念。]
5. Cache接口的设计以及CacheKey的定义(非常重要)
MyBatis定义了一个org.apache.ibatis.cache.Cache接口作为其Cache提供者的SPI(Service Provider Interface) ,所有的MyBatis内部的Cache缓存,都应该实现这一接口。MyBatis定义了一个PerpetualCache实现类实现了Cache接口,实际上,在SqlSession对象里的Executor 对象内维护的Cache类型实例对象,就是PerpetualCache子类创建的。
MyBatis内部还有很多Cache接口的实现,一级缓存只会涉及到这一个PerpetualCache子类,Cache的其他实现将会放到二级缓存中介绍)。
1. <select id="selectByCritiera" parameterType="java.util.Map" resultMap="BaseResultMap">
2. select employee_id,first_name,last_name,email,salary
3. from louis.employees
4. employee_id = #{employeeId}
5. first_name= #{firstName}
6. last_name = #{lastName}
7. email = #{email}
8. </select>
1. <select id="selectByCritiera" parameterType="java.util.Map" resultMap="BaseResultMap">
2. select employee_id,first_name,last_name,email,salary
3. from louis.employees
4. employee_id = #{employeeId}
5. first_name= #{firstName}
6. last_name = #{lastName}
7. email = #{email}
8. </select>
如果使用上述的"selectByCritiera"进行查询,那么,MyBatis会将上述的SQL中的#{}都替换成 ? 如下:
1. select employee_id,first_name,last_name,email,salary
2. from louis.employees
3. where employee_id = ?
4. and first_name= ?
5. and last_name = ?
6. and email = ?
1. select employee_id,first_name,last_name,email,salary
2. from louis.employees
3. where employee_id = ?
4. and first_name= ?
5. and last_name = ?
6. and email = ?
MyBatis最终会使用上述的SQL字符串创建JDBC的java.sql.PreparedStatement对象,对于这个PreparedStatement对象,还需要对它设置参数,调用setXXX()来完成设值,第4条的条件,就是要求对设置JDBC的PreparedStatement的参数值也要完全一致。
即3、4两条MyBatis最本质的要求就是:
调用JDBC的时候,传入的SQL语句要完全相同,传递给JDBC的参数值也要完全相同。
综上所述,CacheKey由以下条件决定:
statementId + rowBounds + 传递给JDBC的SQL + 传递给JDBC的参数值
CacheKey的创建
对于每次的查询请求,Executor都会根据传递的参数信息以及动态生成的SQL语句,将上面的条件根据一定的计算规则,创建一个对应的CacheKey对象。
我们知道创建CacheKey的目的,就两个:
CacheKey作为key,去Cache缓存中查找缓存结果;
CacheKey作为key,将从数据库查询到的结果作为value,组成key,value对存储到Cache缓存中。
CacheKey的构建被放置到了Executor接口的实现类BaseExecutor中,定义如下:
1. /**
2. * 所属类: org.apache.ibatis.executor.BaseExecutor
3. * 功能 : 根据传入信息构建CacheKey
4. */
5. public CacheKey createCacheKey(MappedStatement ms, Object parameterObject, RowBounds rowBounds, BoundSql boundSql) {
6. if (closed) throw new ExecutorException("Executor was closed.");
7. new CacheKey();
8. //1.statementId
9. cacheKey.update(ms.getId());
10. //2. rowBounds.offset
11. cacheKey.update(rowBounds.getOffset());
12. //3. rowBounds.limit
13. cacheKey.update(rowBounds.getLimit());
14. //4. SQL语句
15. cacheKey.update(boundSql.getSql());
16. //5. 将每一个要传递给JDBC的参数值也更新到CacheKey中
17. List<ParameterMapping> parameterMappings = boundSql.getParameterMappings();
18. TypeHandlerRegistry typeHandlerRegistry = ms.getConfiguration().getTypeHandlerRegistry();
19. for (int i = 0; i < parameterMappings.size(); i++) { // mimic DefaultParameterHandler logic
20. ParameterMapping parameterMapping = parameterMappings.get(i);
21. if (parameterMapping.getMode() != ParameterMode.OUT) {
22. Object value;
23. String propertyName = parameterMapping.getProperty();
24. if (boundSql.hasAdditionalParameter(propertyName)) {
25. value = boundSql.getAdditionalParameter(propertyName);
26. else if (parameterObject == null) {
27. null;
28. else if (typeHandlerRegistry.hasTypeHandler(parameterObject.getClass())) {
29. value = parameterObject;
30. else {
31. MetaObject metaObject = configuration.newMetaObject(parameterObject);
32. value = metaObject.getValue(propertyName);
33. }
34. //将每一个要传递给JDBC的参数值也更新到CacheKey中
35. cacheKey.update(value);
36. }
37. }
38. return cacheKey;
39. }
1. /**
2. * 所属类: org.apache.ibatis.executor.BaseExecutor
3. * 功能 : 根据传入信息构建CacheKey
4. */
5. public CacheKey createCacheKey(MappedStatement ms, Object parameterObject, RowBounds rowBounds, BoundSql boundSql) {
6. if (closed) throw new ExecutorException("Executor was closed.");
7. new CacheKey();
8. //1.statementId
9. cacheKey.update(ms.getId());
10. //2. rowBounds.offset
11. cacheKey.update(rowBounds.getOffset());
12. //3. rowBounds.limit
13. cacheKey.update(rowBounds.getLimit());
14. //4. SQL语句
15. cacheKey.update(boundSql.getSql());
16. //5. 将每一个要传递给JDBC的参数值也更新到CacheKey中
17. List<ParameterMapping> parameterMappings = boundSql.getParameterMappings();
18. TypeHandlerRegistry typeHandlerRegistry = ms.getConfiguration().getTypeHandlerRegistry();
19. for (int i = 0; i < parameterMappings.size(); i++) { // mimic DefaultParameterHandler logic
20. ParameterMapping parameterMapping = parameterMappings.get(i);
21. if (parameterMapping.getMode() != ParameterMode.OUT) {
22. Object value;
23. String propertyName = parameterMapping.getProperty();
24. if (boundSql.hasAdditionalParameter(propertyName)) {
25. value = boundSql.getAdditionalParameter(propertyName);
26. else if (parameterObject == null) {
27. null;
28. else if (typeHandlerRegistry.hasTypeHandler(parameterObject.getClass())) {
29. value = parameterObject;
30. else {
31. MetaObject metaObject = configuration.newMetaObject(parameterObject);
32. value = metaObject.getValue(propertyName);
33. }
34. //将每一个要传递给JDBC的参数值也更新到CacheKey中
35. cacheKey.update(value);
36. }
37. }
38. return cacheKey;
39. }
CacheKey的hashcode生成算法
刚才已经提到,Cache接口的实现,本质上是使用的HashMap<k,v>,而构建CacheKey的目的就是为了作为HashMap<k,v>中的key值。而HashMap是通过key值的hashcode 来组织和存储的,那么,构建CacheKey的过程实际上就是构造其hashCode的过程。下面的代码就是CacheKey的核心hashcode生成算法,感兴趣的话可以看一下:
1. public void update(Object object) {
2. if (object != null && object.getClass().isArray()) {
3. int length = Array.getLength(object);
4. for (int i = 0; i < length; i++) {
5. Object element = Array.get(object, i);
6. doUpdate(element);
7. }
8. else {
9. doUpdate(object);
10. }
11. }
12.
13. private void doUpdate(Object object) {
14.
15. //1. 得到对象的hashcode;
16. int baseHashCode = object == null ? 1 : object.hashCode();
17. //对象计数递增
18. count++;
19. checksum += baseHashCode;
20. //2. 对象的hashcode 扩大count倍
21. baseHashCode *= count;
22. //3. hashCode * 拓展因子(默认37)+拓展扩大后的对象hashCode值
23. hashcode = multiplier * hashcode + baseHashCode;
24. updateList.add(object);
25. }
1. public void update(Object object) {
2. if (object != null && object.getClass().isArray()) {
3. int length = Array.getLength(object);
4. for (int i = 0; i < length; i++) {
5. Object element = Array.get(object, i);
6. doUpdate(element);
7. }
8. else {
9. doUpdate(object);
10. }
11. }
12.
13. private void doUpdate(Object object) {
14.
15. //1. 得到对象的hashcode;
16. int baseHashCode = object == null ? 1 : object.hashCode();
17. //对象计数递增
18. count++;
19. checksum += baseHashCode;
20. //2. 对象的hashcode 扩大count倍
21. baseHashCode *= count;
22. //3. hashCode * 拓展因子(默认37)+拓展扩大后的对象hashCode值
23. hashcode = multiplier * hashcode + baseHashCode;
24. updateList.add(object);
25. }
一级缓存的性能分析
我将从两个 一级缓存的特性来讨论SqlSession的一级缓存性能问题:
1.MyBatis对会话(Session)级别的一级缓存设计的比较简单,就简单地使用了HashMap来维护,并没有对HashMap的容量和大小进行限制。
读者有可能就觉得不妥了:如果我一直使用某一个SqlSession对象查询数据,这样会不会导致HashMap太大,而导致 java.lang.OutOfMemoryError错误啊? 读者这么考虑也不无道理,不过MyBatis的确是这样设计的。
MyBatis这样设计也有它自己的理由:
a. 一般而言SqlSession的生存时间很短。一般情况下使用一个SqlSession对象执行的操作不会太多,执行完就会消亡;
b. 对于某一个SqlSession对象而言,只要执行update操作(update、insert、delete),都会将这个SqlSession对象中对应的一级缓存清空掉,所以一般情况下不会出现缓存过大,影响JVM内存空间的问题;
c. 可以手动地释放掉SqlSession对象中的缓存。
2. 一级缓存是一个粗粒度的缓存,没有更新缓存和缓存过期的概念
MyBatis的一级缓存就是使用了简单的HashMap,MyBatis只负责将查询数据库的结果存储到缓存中去, 不会去判断缓存存放的时间是否过长、是否过期,因此也就没有对缓存的结果进行更新这一说了。
根据一级缓存的特性,在使用的过程中,我认为应该注意:
1、对于数据变化频率很大,并且需要高时效准确性的数据要求,我们使用SqlSession查询的时候,要控制好SqlSession的生存时间,SqlSession的生存时间越长,它其中缓存的数据有可能就越旧,从而造成和真实数据库的误差;同时对于这种情况,用户也可以手动地适时清空SqlSession中的缓存;
对于只执行、并且频繁执行大范围的select操作的SqlSession对象,SqlSession对象的生存时间不应过长。
举例:
例1、看下面这个例子,下面的例子使用了同一个SqlSession指令了两次完全一样的查询,将两次查询所耗的时间打印出来,结果如下:
1. package com.louis.mybatis.test;
2.
3. import java.io.InputStream;
4. import java.util.Date;
5. import java.util.HashMap;
6. import java.util.List;
7. import java.util.Map;
8.
9. import org.apache.commons.logging.Log;
10. import org.apache.commons.logging.LogFactory;
11. import org.apache.ibatis.executor.BaseExecutor;
12. import org.apache.ibatis.io.Resources;
13. import org.apache.ibatis.session.SqlSession;
14. import org.apache.ibatis.session.SqlSessionFactory;
15. import org.apache.ibatis.session.SqlSessionFactoryBuilder;
16. import org.apache.log4j.Logger;
17.
18. import com.louis.mybatis.model.Employee;
19.
20. /**
21. * SqlSession 简单查询演示类
22. * @author louluan
23. */
24. public class SelectDemo1 {
25.
26. private static final Logger loger = Logger.getLogger(SelectDemo1.class);
27.
28. public static void main(String[] args) throws Exception {
29. "mybatisConfig.xml");
30. new SqlSessionFactoryBuilder();
31. SqlSessionFactory factory = builder.build(inputStream);
32.
33. SqlSession sqlSession = factory.openSession();
34. //3.使用SqlSession查询
35. new HashMap<String,Object>();
36. "min_salary",10000);
37. //a.查询工资低于10000的员工
38. new Date();
39. //第一次查询
40. "com.louis.mybatis.dao.EmployeesMapper.selectByMinSalary",params);
41. "first quest costs:"+ (new Date().getTime()-first.getTime()) +" ms");
42. new Date();
43. "com.louis.mybatis.dao.EmployeesMapper.selectByMinSalary",params);
44. "second quest costs:"+ (new Date().getTime()-second.getTime()) +" ms");
45. }
46.
47. }
1. package com.louis.mybatis.test;
2.
3. import java.io.InputStream;
4. import java.util.Date;
5. import java.util.HashMap;
6. import java.util.List;
7. import java.util.Map;
8.
9. import org.apache.commons.logging.Log;
10. import org.apache.commons.logging.LogFactory;
11. import org.apache.ibatis.executor.BaseExecutor;
12. import org.apache.ibatis.io.Resources;
13. import org.apache.ibatis.session.SqlSession;
14. import org.apache.ibatis.session.SqlSessionFactory;
15. import org.apache.ibatis.session.SqlSessionFactoryBuilder;
16. import org.apache.log4j.Logger;
17.
18. import com.louis.mybatis.model.Employee;
19.
20. /**
21. * SqlSession 简单查询演示类
22. * @author louluan
23. */
24. public class SelectDemo1 {
25.
26. private static final Logger loger = Logger.getLogger(SelectDemo1.class);
27.
28. public static void main(String[] args) throws Exception {
29. "mybatisConfig.xml");
30. new SqlSessionFactoryBuilder();
31. SqlSessionFactory factory = builder.build(inputStream);
32.
33. SqlSession sqlSession = factory.openSession();
34. //3.使用SqlSession查询
35. new HashMap<String,Object>();
36. "min_salary",10000);
37. //a.查询工资低于10000的员工
38. new Date();
39. //第一次查询
40. "com.louis.mybatis.dao.EmployeesMapper.selectByMinSalary",params);
41. "first quest costs:"+ (new Date().getTime()-first.getTime()) +" ms");
42. new Date();
43. "com.louis.mybatis.dao.EmployeesMapper.selectByMinSalary",params);
44. "second quest costs:"+ (new Date().getTime()-second.getTime()) +" ms");
45. }
46.
47. }
运行结果: