THIS IS A TEST INSTANCE. ALL YOUR CHANGES WILL BE LOST!!!!
Table of Contents |
---|
设计原则
减少合并任务提交的入口数量
能够在原始写入的文件大小不一的情况下(如初始写出的 TsFile 大小为 100M,10k,20M),控制合并目标文件大小100M,10k,20M),控制合并目标文件大小和 Chunk 大小
将 TsFileManagement 里管理 TsFileResource 的数据结构与 合并机制分离,固定管理 TsFileResource 的数据结构合并机制分离
能够做到时间分区内部合并任务的并行
能够解决以下场景:
...
- 管理顺序文件时,按照数据时间戳递增排列
- 管理乱序文件时,按照文件版本号由低到高排列
- 移除某些位置的文件,并且在原位加入合并后的文件
待改名:
...
VirtualStorageGroupManager → StorageGroupProsessor
StorageGroupProsessor → VirtualStorageGroupProsessor 虚拟存储组
每个虚拟存储组启动定时任务:
- 倒序遍历时间分区
- CompactionManager.doCompactionSchedule(TsFileManagement management,long 分区号)
...