名词解释

顺序空间：顺序数据文件所在的空间

乱序空间：乱序数据文件所在的空间

整体流程

合并任务提交

• 如果 compactionMergeWorking 变量为true，则说明上一次合并还在进行，跳过本次合并
• 如果 compactionMergeWorking 变量为false，说明本存储组没有合并任务在进行
  • 设置 compactionMergeWorking 为true
  • 拷贝当前文件列表镜像，见 算法1
  • 设置如果进行乱序合并，是否进行 FullMerge 
  • 提交合并任务

算法1

• 加读锁
• 按层拷贝当前时间分区除了最高层之外所有已经关闭的顺序文件
• 按层拷贝当前时间分区所有已经关闭的乱序文件
• 解读锁

FullMerge（完全合并）

出于IO和合并性能考虑，乱序合并不会重写整个顺序文件，获取一个整理完全的顺序文件，而是会将与乱序文件重叠的 chunk 合并重写后，追加到原顺序文件后面，不删除原chunk，称这个过程为 原地合并

但是过多的 原地合并 会造成无用的数据越来越多，甚至在某些情况下导致一个文件大小无限制地增大（见线上问题分析）

而 完全合并 则是在乱序合并时重写整个顺序文件，IO和合并性能较低，但能获取一个整理完全的顺序文件

合并任务执行

• 选择文件并进行顺序空间的层级合并
  • 如果有跨文件空间合并正在进行，等待该任务完成
  • 对除了最高层外的文件
    • 如果本层文件个数>seq_file_num_in_each_level，则进行将本层文件提交合并，详细合并流程见 合并机制执行合并流程文档-层级合并
• 选择文件并进行乱序空间的层级合并或跨文件空间合并
  • 如果 unseq_level_num==1，提交当前时间分区下所有乱序文件和顺序文件进行合并
  • 对除了最高层外的文件
    • 如果本层文件个数>unseq_file_num_in_each_level
      • 如果开启了跨文件空间的合并，且unseq_level_num-2==当前层index
        • 提交当前时间分区最高层的乱序文件和所有顺序文件进行跨文件空间合并，详细合并流程见 合并机制执行合并流程文档-跨文件空间合并
      • 否则进行将本层文件提交层级合并，详细合并流程见 合并机制执行合并流程文档-层级合并