Versions Compared

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

...

概要设计

Page和Chunk合并

根据每次刷盘数据量、Experiments of TsFile index area实验:TsFile 索引区#(II)ExperimentaboutcombineChunkandPage中(II) Experiment about combine Chunk and Page的分析及源码分析,有如下结论:

...

综上所述,目前的tsfile对于单chunk单page已经做了元数据去冗余的优化,本设计没必要合并Page和Chunk,Timeseries metadata中保存了一份的measurement ID信息,Timeseries index tree是一个稀疏索引,没有保存全量measurement ID,所以不可以删除


去除统计信息

Statistic


TsfileResource


查询适配

修改StorageGroupProcessor中的getFileResourceListForQuery方法,对于无统计信息的Tsfile生成一个特殊的TsfileResource


实验

实验场景

模拟海量时间序列一次刷盘1%的数据量,即100万时间序列,其中有1万个设备,每个设备下有100个工况,每条时间序列写10个点,生成tsfile

...