Versions Compared

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

...

  • 将哪些 TsFileResource 放在内存里?
  • 内存中的 TsFileResource 何时踢出?
  • 查询时如何将未缓存在内存的 TsFileResource 加载进内存?

目标场景


方案1 & 方案2


目标总体目标

  • 将最近的 引入一个全局的TsFileResourceManager,管理TsFileResource,将最近的 TsFileResource 缓存在内存,踢出老文件
  • 通过控制 TsFile 大小,减少 TsFileResource 个数
  • 通过存储组和分区名等隐含规则索引 TsFileResource,通过内存计算定位 TsFileResource,尽量不存储额外信息

要求:开启时间分区

缺点:当分区数为1时没有效果

引入 TsFileResourceManager,分配一定内存。


当前TsFileResource的层级关系

 存储组 根据 存储组 → 虚拟存储组 → 分区号 → List<TsFileResource> 统一管理 TsFileResource


方案1


每关闭一个 TsFileResource 时,计算其内存,内存达到设置的阈值后,将最老的分区的 时,计算其内存,内存达到设置的阈值后,将最不活跃的分区的整个 List<TsFileResource> 清空


当需要一个分区的文件时,到磁盘上 listFileslistFiles,将该分区加载进来


Image Added


方案2


主要思想:假设使用 FILE_TIME_INDEX 没有内存问题。根据内存动态切换 FILE_TIME_INDEX 和 DEVICE_TIME_INDEX。

...

踢出一个 TsFileResource 的操作为:将 TsFileResource 中的 TimeIndex 改为 FILE_TIME_INDEX。


Image Added

方案3


保持现有的 TIME_INDEX 不变,每个存储组保留固定个 TsFileResource,当总内存超过阈值,就将 TsFileResource 合并。可以应用多种合并策略。

...