Activemq存储KahaDb详解-编程知识

Activemq存储KahaDb详解

引言

ActiveMQ在不提供持久化的情况下，数据保存在内存中，一旦应用崩溃或者重启之后，数据都将会丢失，这显然在大部分情况下是我们所不希望的。对此ActiveMQ提供了两种持久化方式以供选择。

kahaDB

kahaDB是一个基于文件，支持事务的、可靠，高性能，可扩展的消息存储器，目前是activeMQ默认的持久化方式，配置也十分简单

<persistenceAdapter><kahaDB directory="${activemq.data}/kahadb"/>
</persistenceAdapter>

以上配置是将存储目录设置为${activemq.data}/kahadb。

存储目录下文件说明：

db.data：索引文件，本质上是BTree的实现，存储到了db-*.log消息文件的索引。
db.redo：用来进行数据恢复的redo文件
db-*.log：存储消息内容的文件，包括消息元数据、订阅关系、事务等数据。
lock：表示已启动一个实例。

kahaDB配置支持的参数:

参数	默认值	说明
indexWriteBatchSize	1000	当缓存中更新的索引到达1000时，将数据同步到磁盘中，数据是批量同步的。
indexCacheSize	10000	在内存中最多分配多个页面来缓存索引。缓存的索引越多，命中的概率就越大，检索的效率就越高
journalMaxFileLength	33554432	默认值32MB，配置单个消息文件的大小，超过一定大小以后重新创建一个新的文件进行保存。
enableJournalDiskSyncs	true	表示采用同步写磁盘，即消息先存储到磁盘后再向Producer返回ACK
cleanupInterval	30000	当消息被消息者成功消费之后，Broker就可以将消息删除的时间间隔。
checkpointInterval	5000	每隔5s将内存中的index缓存更新到磁盘文件中。

底层实现

persist_01 (1)

从上图中可以看出：图中各个部分与KahaDB配置的存储目录下的文件是一一对应的。

①在内存(cache)中的那部分B-Tree是Metadata Cache

通过将索引缓存到内存中，可以加快查询的速度(quick retrival of message data)。但是需要定时将 Metadata Cache 与 Metadata Store同步。

**这个同步过程就称为：check point。**由checkpointInterval选项决定每隔多久时间进行一次checkpoint操作。

②BTree Indexes则是保存在磁盘上的，称为Metadata Store，它对应于文件db.data，它就是对Data Logs以B树的形式索引。有了它，Broker（消息服务器）可以快速地重启恢复，因为它是消息的索引，根据它就能恢复出每条消息的location。

如果Metadata Store被损坏，则只能扫描整个Data Logs来重建B树了，这个过程是很复杂且缓慢的。

③Data Logs则对应于文件 db-*.log，默认是32MB

Data Logs以日志形式存储消息，它是生产者生产的数据的真正载体。

The data logs are used to store data in the form of journals, 
where events of all kinds—messages, acknowledgments, subscriptions, subscription cancellations, transaction boundaries, etc.
---are stored in a rolling log

④Redo Log则对应于文件 db.redo

redo log的原理用到了“Double Write”。关于“Double Write”可参考

简要记录下自己的理解：因为磁盘的页大小与操作系统的页大小不一样，磁盘的页大小一般是16KB，而OS的页大小是4KB。而数据写入磁盘是以磁盘页大小为单位进行的，即一次写一个磁盘页大小，这就需要4个OS的页大小（4*4=16）。如果在写入过程中出现故障(突然断电)就会导致只写入了一部分数据(partial page write)

而采用了“Double Write”之后，将数据写入磁盘时，先写到一个Recovery Buffer中，然后再写到真正的目的文件中。在ActiveMQ的源码PageFile.java中有相应的实现。

扩展知识：Linux中的日志文件系统：因为Linux的 ext文件系统采用索引节点来存储文件的元数据，每次数据写入磁盘之后，需要更新索引节点表。而写入磁盘与更新索引节点表并不是“原子操作”，比如，在数据写入磁盘后，系统发生故障，之前写入的数据就再也找不到了。

因此，日志文件系统给Linux系统增加了一层安全性：数据写入存储设备之前，先将数据（或者只将索引节点信息写日志）写入到临时文件中，该临时文件称日志。如果在数据写入时发生故障，还可以通过日志来进行一定的恢复。