Kafka存储
Kafka作为一个支持大数据量写入写出的消息队列,由于是基于Scala和Java实现的,而Scala和Java均需要在JVM上运行,所以如果是基于内存的方式,即JVM的堆来进行数据存储则需要开辟很大的堆来支持数据读写,从而会导致GC频繁影响性能。考虑到这些因素,kafka是使用磁盘而不是kafka服务器broker进程内存来进行数据存储,并且基于磁盘顺序读写和MMAP技术来实现高性能。
存储结构介绍
Kafka一个topic下可以存在很多个分区,不考虑分区副本的情况下。一个分区对应一个日志(Log) 。为了防止Log过大,Kafka又引入了日志分段(LogSegment)的概念,将Log切分为多个LogSegment,相当于一个巨型文件被平均分配为多个相对较小的文件,这样也便于消息的维护和清理。事实上,Log和LogSegment对应于磁盘上的一个日志文件和两个索引文件,以及可能的其他文件(比如:以".txnindex"为后缀的事务索引文件)。如下图所示:
Log对应了一个命名形式为-的文件夹。举个例子,假设有一个名为"itheima&#