0
点赞
收藏
分享

微信扫一扫

mysql InnoDB两次写(doublewrite)

技术只适用于干活 2022-04-25 阅读 112

前置知识

InnoDB的数据的读取和更新是以页为单位的,并不是以行为单位的;

需要被操作的数据,会先以页(16K)为单位加载到内存中;

内存中被修改了的页,称为脏页;

被修改的数据(脏页)并不是立刻刷新到磁盘,而是通过fscyn函数调用才会刷新到磁盘;

 

doublewrite

Insert Buffer给InnoDB存储引擎带来了性能上的提升,doublewrite给InnoDB带来的是数据页的可靠性

当数据库宕机时,可能InnoDB存储引擎正在写入某个页到表中,而这个页只写了一部分,比如16K的页,只写了前4K,之后就发生了宕机,这种情况被称为部分写失效(partial page write)。在InnoDB存储引擎未使用doublewrite技术之前,曾经出现过因为部分写失效而导致数据丢失的情况。

有经验的DBA也许会想,如果发生写失效,可以通过重做日志进行恢复,这是一个办法。但是必须清楚的认识到,重做日志中记录的是对页的物理操作,如偏移量800,写‘123’记录,如果这个页本身已经发生了损坏,再对其进行重做是没有意义的。这就是说,在应用(apply)重做日志前,用户需要一个页的副本,当写入失效发生时,先通过页的副本来还原该页,再进行重做,这就是doublewrite。

        doublewrite由两部分组成,一部分是内存中的doublewrite buff,大小为2M,另一部分是物理磁盘上的共享表空间中连续的128个页,即两个区(extent),大小同样为2M。在堆缓存池的脏页进行刷新时,并不直接写入磁盘,而是会通过memcpy函数将脏页先复制到内存中的doublewrite buff,之后通过doublewrite buff再分两次,每秒1MB顺序地写入共享表空间的物理磁盘上,然后马上调用fsync函数,同步磁盘,避免缓冲写带来的问题。

        在这个过程中,因为doublewrite 页是连续的,因为这个过程是顺序写入的开销并不是很大。再完成doublewrite页的写入之后,再将doublewrite buff中的页写入各个表空间中,此时的写入则是离散的。

总结:

为了保证数据库宕机时,不丢失数据,InnoDB采用了doublewrite技术。

  1. 将脏页复制到内存中的doublewrite buff(内存复制,高效)
  2. 将doublewrite buff分两次写入共享表空间(顺序写入,高效)
  3. 立刻调用fsync函数,将doublewrite buff数据同步到磁盘

如果在执行3的时候发生宕机事件,需要进行恢复,过程如下

  1. 共享表空间中找到对应脏页的副本
  2. 将其复制到表空间文件
  3. 应用重做日志(redo log)

举报

相关推荐

0 条评论