Versions Compared

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

TsFileResource中的DeviceTimeIndex占用了大量的内存空间,考虑在内存不够的情况下将其降级为内存占用更小的FileTimeIndex,通过牺牲查询效率换取更多的内存空间TsFileResource中的DeviceTimeIndex占用了大量的内存空间,考虑在内存不够的情况下将其降级为内存占用更小的FileTimeIndex,通过牺牲查询效率换取更多的内存空间。

一、配置项

名称time_index_memmory_proportion
描述指定TimeIndex在Read Memory中的所占的比例(占比越高查询效率越高)
类型double
默认值0.2
更改后的生效方式重启服务器后生效

二、接口设计

org.apache.iotdb.db.rescon.TimeIndexManager

  • double TIME_INDEX_MEMORY_THRESHOLD:TimeIndex可使用的内存总量,值为allocateMemoryForRead * time_index_memory_proportionproportion。

  • ExecutorService downgradeThreadPool:用于执行TimeIndex降级任务的线程池degradeThreadPool:用于执行TimeIndex降级任务的线程池。

  • PriorityQueue<TsFileResource> sealedTimeIndex:维护所有已封口的TsFileResoruce,按照TimeIndex降级的优先级从高到低排序sealedTimeIndex:维护所有已封口的TsFileResoruce,按照TimeIndex降级的优先级从高到低排序。

  • long totalTimeIndexMemCost:所有已封口的TimeIndex占用的内存总量(非精确值,只计入封口文件的TimeIndex大小),当该值超过TIME_INDEX_MEMORY_THRESHOLD时触发索引降级THRESHOLD时触发索引降级。

方法描述
registerSealedTimeIndex

语法:public synchronized ITimeIndex registerSealedTimeIndex(TsFileResource resource)

功能:将已封口的TsFileResoruce添加到sealedTimeIndex中,并在totalTimeIndexMemCost中添加内存占用,当totalTimeIndexMemCost ≥ TIME_INDEX_MEMORY_THRESHOLD时触发索引降级

releaseTimeIndexMemCost

语法:public synchronized void releaseTimeIndexMemCost(long memCost)

功能:在totalTimeIndexMemCost上减去memCost

chooseTimeIndexsToFlush

语法:private void chooseTimeIndexsToFlush()

功能:挑选sealedTimeIndex中的TimeIndex进行降级,直至totalTimeIndexMemCost降至TIME_INDEX_MEMORY_THRESHOLD以下,若无法降至TIME_INDEX_MEMORY_THRESHOLD以下,则抛出异常

org.apache.iotdb.db.engine.storagegroup.TsFileResource

  • 将timeIndex字段更改为volatile将timeIndex字段更改为volatile。
方法描述
downgradeTimeIndexTo
degradeTimeIndexTo

语法:public void

downgradeTimeIndexTo

degradeTimeIndexTo(TimeIndexLevel

targetlevel

targetLevel)

功能:将该TsFileResource的TimeIndex降级到目标等级,降级后调用TimeIndexManager的releaseTimeIndexMemCost方法释放内存占用

compareIndexDegradePriority

语法:public int compareIndexDegradePriority(ITimeIndex other)

功能:将该TsFileResource的TimeIndex降级到目标等级

功能:比较TimeIndex间的降级优先级

org.apache.iotdb.db.engine.storagegroup.timeindex.ITimeIndex

  • 在DeviceTimeIndex中添加minStartTime字段。
方法描述
compareDowngradePriority语法:default int compareDowngradePriority
compareDegradePriority

语法:public int compareDegradePriority(ITimeIndex other)

功能:获取降级优先级

...

功能:比较TimeIndex间的降级优先级

三、详细设计

降级优先级的判定规则

  • 只有封口后序列化形成.resource文件的ITimeIndex才能降级,未封口和序列化的不能降级。

  • DeviceTimeIndex的优先级高于FileTimeIndex。

  • startTime早的TimeIndex优先级高于startTime晚的TimeIndex。

降级的触发流程

  1. 在TsFileResource的serialize方法的末尾调用TimeIndexManager的registerSealedTimeIndex方法。
  2. 将TimeIndex添加到sealedTimeIndex中,并对totalTimeIndexMemCost进行判定:
    • 当totalTimeIndexMemCost < TIME_INDEX_MEMORY_THRESHOLD时,直接返回。
    • 当totalTimeIndexMemCost ≥ TIME_INDEX_MEMORY_THRESHOLD时,触发索引降级,调用chooseTimeIndexsToFlush方法进行以下操作。
  3. 当totalTimeIndexMemCost ≥ TIME_INDEX_MEMORY_THRESHOLD时,从sealedTimeIndex中取出降级优先级最高的TsFileResource。

  4. 提交降级任务到degradeThreadPool中,异步调用TsFileResource的degradeTimeIndexTo方法。

  5. 循环4和5直至4中的条件不被满足,若不存在可降级的TimeIndex则抛出异常。