名词解释

顺序空间：顺序数据文件所在的空间

乱序空间：乱序数据文件所在的空间

顺序层级合并（Level Compaction）：在顺序空间内部进行文件的层级合并（SizeTired Compaction）

乱序层级合并（Level Compaction）：在乱序空间内部进行文件的层级合并（SizeTired Compaction）

跨文件空间合并(Merge)：将乱序空间的乱序文件合并到顺序空间中

目标场景

假设写入速度是稳定的

场景1：海量小文件，离线合并

场景2：10个存储组，每个存储组每天会产生10个文件，每个线程每天能合5个文件，系统最多有10个线程

合并任务（空间内和跨空间）的优先级

iotdb-engine.properties 配置参数：compaction_priority=inner_cross

目标：快速减少文件个数

compaction_priority=inner_cross

目标：消除乱序文件

compaction_priority=cross_inner

目标：平衡减少文件数和消除乱序文件

compaction_priority=balance

合并任务的并行度

iotdb-engine.properties 配置参数：concurrent_compaction_thread=50

全局合并管理器（与 MManager 同级，系统启动时注册）

static volatile boolean isRecover=false;

init() 恢复

提交异步合并恢复任务

注册定时任务：间隔 compaction_interval 调度 doCompaction()

doCompaction()

如果 isRecover = true && enable_continuous_compaction = true

提交异步合并调度任务

合并调度任务

static  long  currentTaskNum=0；// 当前进行的合并任务个数

run()：

如果 currentTaskNum == concurrent_compaction_thread return

• for storage groups
• 加 resourceList 读锁
  • for partitions (倒序遍历）
    • 如果 currentTaskNum < concurrent_compaction_thread
      • 候选文件 F=[]
      • 倒序遍历顺序文件列表
        • 如果（当前文件大小大于 target_tsfile_size || 当前文件正在合并 || 当前文件未关闭），则清空 F，continue；
        • 将当前文件加入 F，如果 F 文件大小大于 target_tsfile_size，将 F 提交异步任务（顺序文件合并执行流程）， F=[]
        • 如果 compaction_priority=balance, break;
      •  倒序遍历乱序文件列表
        • 如果（当前文件大小大于 target_tsfile_size || 当前文件正在合并 || 当前文件未关闭），则清空 F，continue；
        • 将当前文件加入 F，如果 F 文件大小大于 target_tsfile_size，将 F 提交异步任务（乱序文件合并执行流程）， F=[]
        • 如果 compaction_priority=balance, break;
      • 选择跨文件空间合并候选文件并提交任务