Versions Compared

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

...

顺序空间:顺序数据文件所在的空间

乱序空间:乱序数据文件所在的空间


顺序层级合并(Level Compaction):在顺序空间内部进行文件的层级合并(SizeTired Compaction)

乱序层级合并(Level Compaction):在乱序空间内部进行文件的层级合并(SizeTired Compaction)

跨文件空间合并(Merge):将乱序空间的乱序文件合并到顺序空间中


优先级: 乱序层级合并 > 跨文件空间合并 > 顺序层级合并

整体流程

合并任务的触发时机

系统启动时,每个 StorageGroupProsessor 的 recover 过程中

  • (同步)恢复跨文件空间合并
  • (异步)恢复层级合并,当前只会有一个待恢复的任务,顺序或乱序
  • 如果开启了连续合并(enable_continuous_compaction=true),则对每个分区提交异步合并任务
    • 如果 COMPACTION_STRATEGY=NO_COMPACTION,则什么合并都不做,直接返回
    • 如果 COMPACTION_STRATEGY=LEVEL_COMPACTION,执行系统整体合并
      • 如果开启乱序合并(enable_unseq_compaction=true),且乱序空间最高层存在乱序文件,则执行跨文件空间合并
      • 对此分区的顺序空间从Level-0开始逐层向上寻找可合并的层级,合并一层后返回
      • 对此分区的乱序空间从Level-0开始逐层向上寻找可合并的层级,合并一层后返回


文件关闭时



合并任务提交

  • 如果 compactionMergeWorking 变量为true,则说明上一次合并还在进行,跳过本次合并
  • 如果 compactionMergeWorking 变量为false,说明本存储组没有合并任务在进行
    • 设置 compactionMergeWorking 为true
    • 拷贝当前文件列表镜像,见 算法1
    • 设置如果进行乱序合并,是否进行 FullMerge 
    • 提交合并任务

...

完全合并 则是在乱序合并时重写整个顺序文件,IO和合并性能较低,但能获取一个整理完全的顺序文件

...

系统整体合并

  • 如果开启乱序合并(enable_unseq_compaction=true),且乱序空间最高层存在乱序文件,则执行跨文件空间合并
  • 选择文件并进行顺序空间的层级合并
    • 如果有跨文件空间合并正在进行,等待该任务完成
    • 对除了最高层外的文件
      • 如果本层文件个数>seq_file_num_in_each_level,则进行将本层文件提交合并,详细合并流程见 合并机制执行合并流程文档-层级合并
  • 选择文件并进行乱序空间的层级合并或跨文件空间合并
    • 如果 unseq_level_num==1,提交当前时间分区下所有乱序文件和顺序文件进行合并
    • 对除了最高层外的文件
      • 如果本层文件个数>unseq_file_num_in_each_level
        • 如果开启了跨文件空间的合并,且unseq_level_num-2==当前层index
          • 提交当前时间分区最高层的乱序文件和所有顺序文件进行跨文件空间合并,详细合并流程见 合并机制执行合并流程文档-跨文件空间合并
        • 否则进行将本层文件提交层级合并,详细合并流程见 合并机制执行合并流程文档-层级合并