目标场景
- 相邻文件中序列重合度较少:TsFile1包含s1-s100,TsFile2包含s101-s200
- 不同序列数据采集频率不同:s1 写入频率 1Hz,s2写入频率1000Hz
- 合并速度低于写入速度:每天需要落盘 100G TsFile,读写(合并)一次TsFile的速率是每天10G
- 乱序数据较少,一直未触发乱序文件关闭,无法及时触发跨文件空间合并
- 合并的目标Chunk大小,即合并参数难以设置,需要考虑用户查询负载(查询的时间范围)
设计原则
能够在原始写入的文件大小不一的情况下(如初始写出的 TsFile 大小为 100M,10k,20M),控制合并目标文件大小和 Chunk 大小
将 TsFileManagement 里管理 TsFileResource 的数据结构与 合并机制分离
能够做到时间分区内部合并任务的并行
能够解决以下场景:
- 场景1:生成海量小文件
- 场景2:合并速度小于写入速度:10个存储组,每个存储组每天会产生10个文件,每个线程每天能合5个文件,系统最多有10个线程
名词解释
顺序空间:顺序数据文件所在的空间
乱序空间:乱序数据文件所在的空间
顺序空间合并(Seq Compaction):在顺序空间内部进行文件的合并(SizeTired Compaction)
乱序空间合并(Unseq Compaction):在乱序空间内部进行文件的合并(SizeTired Compaction)
跨空间合并(Cross Compaction):将乱序空间的文件合并到顺序空间
合并的总体任务
合并调度任务(定时启动):选择合并文件候选集,并提交合并执行任务
合并执行任务:接收待合并文件列表,合并到目标文件,并删除老文件
合并恢复任务(重启时执行一次):将中断的合并执行任务继续执行
合并异常处理任务:合并过程中发生异常时会执行,根据源文件是否都存在来执行相应的操作
合并调度的参数
enable_seq_space_compaction=true
enable_unseq_space_compaction=true
enable_cross_space_compaction=true (等价之前的 enable_unseq_compaction)
compaction_priority=inner_cross(优先执行空间内合并,快速减少文件数)、cross_inner(优先执行跨文件空间合并,消除乱序文件)、balance(平衡减少文件数和消除乱序文件)
compaction_concurrent_thread=50(合并执行任务的并行度)
compaction_interval=10000(合并调度任务的执行间隔,单位 ms)
compaction_candidate_file_num=100 (候选合并文件个数)
compaction_target_tsfile_size=2000000000 (合并的目标文件大小)
TsFileManager 文件管理器(每个虚拟存储组一个)
Map<Long, 双向链表<TsFileResource>> seqList: 分区 → 顺序文件列表
Map<Long, 双向链表<TsFileResource>> unseqList: 分区 → 乱序文件列表
双向链表功能:
- 管理顺序文件时,按照数据时间戳递增排列
- 管理乱序文件时,按照文件版本号由低到高排列
- 移除某些位置的文件,并且在原位加入合并后的文件