Page History

...

层级合并

本文档描述“在合并策略已经选定了待合并的文件列表后”的流程。

...

无对齐时间序列时的层级合并流程

• 根据待合并文件列表，依次使用每个文件的TsFileSequenceReader，获取该文件的设备列表，生成所有的device集合
• 遍历device集合
  • 根据文件从文件读取器cache中得到相应的TsFileSequenceReader
  • 根据device读取各个文件对应的ChunkMetadataListIterator（ChunkMetadataListIterator每次按字典序吐出1000个sensor及其对应的ChunkMetadata列表）循环遍历所有ChunkMetadataListIterator直到没有任何一个ChunkMetadataListIterator还有数据对ChunkMetadataListIterator吐出的数据做归并排序，对于合并出来的每一个sensor及其对应的ChunkMetadata列表如果是乱序空间的文件合并，采取deserialize合并Iterator（ChunkMetadataListIterator每次按字典序吐出 metadata_index_degree 个sensor及其对应的ChunkMetadata列表）
  • 遍历算法1输出的每批待合并的sensor列表
    • 对于待合并列表中的每一个sensor
      • 如果是乱序空间的文件合并，采取 反序列化Page合并算法
      •  如果是顺序空间的文件合并
        • 如果某个 Chunk 的数据点数小于 merge_page_point_number，采取 反序列化Page合并算法
        • 如果page足够大，采取 追加Page合并算法
  • 关闭reader cache中所有的reader
  • 序列化新文件的 TsFileResource
  • 关闭新文件writer

算法1

输入：多个文件的 ChunkMetadataListIterator（假设有3个文件：file1:(s1,s2)(s3,s4)   file2:(s1, s3)  file3:(s3,s4)

输出：每轮待合并的 sensor 列表

描述：每个迭代器取1个 List，找到每个 List 的最大字典序的 sensor，组成集合 S，本次合并从头开始合并到 S 中最小字典序的 sensor 。并从 List 中清除已合并的 sensor，如果此 List 消耗完，获取下一个 Lst

优势：每次至少会消耗完一个 file 的一个 List

第一轮：file1(s1,s2)+file2(s1,s3)+file3(s3,s4) → (s1,s2)

第二轮：file1(s3, s4)+file2(s3)+file3(s3,s4)  → (s3)

第三轮：file1(s4)+file3(s4) → (s4)

反序列化Page合并算法

• 通过各自文件的reader有序把数据读出并整理出对应的time-value列表
• 遍历上述的time-value列表，将数据写入新的ChunkWriter
• 判断限流
• 将ChunkWriter写入新文件 如果是顺序空间的文件合并

追加Page合并算法

• 如果page足够大，采取append合并 通过各自文件的reader有序把chunk读出来，并通过合并ByteBuffer和统计信息的方式不解析chunk数据点、而有序合并出对应的新Chunk和ChunkMetadata
• 判断限流
• 将合并完的Chunk和ChunkMetadata写入新文件
• 如果page不足够大，采取deserialize合并
  
  • 通过各自文件的reader有序把数据读出并整理出对应的time-value列表
  • 遍历上述的time-value列表，将数据写入新的ChunkWriter
  • 判断限流
  • 将ChunkWriter写入新文件
• 关闭reader cache中所有的reader
• 序列化新文件
关闭新文件writer

Vector引入的问题

1、现在的合并流程是按sensor合并的，如果这个sensor其实是某个vector的一部分，那么使用deserialize合并读不出vector中留空占位的数据，写入时就会破坏原来排列整齐的vector，而append合并没有影响。

...

• 根据待合并文件列表，依次使用每个文件的TsFileSequenceReader，获取该文件的设备列表，生成所有的device集合
• 遍历device集合
  • 根据文件从文件读取器cache中得到相应的TsFileSequenceReader
  • 根据device读取各个文件对应的ChunkMetadataListIterator（ChunkMetadataListIterator每次按字典序吐出对应的IMeasurementSchema及其对应的ChunkMetadata列表，每批个数为256个普通MeasurementSchema或超过256个sensor的最小的完整的VectorMeasurementSchema列表）（这里需要改变底层结构提高性能）
  • 循环遍历所有ChunkMetadataListIterator直到没有任何一个ChunkMetadataListIterator还有数据，对每一次读取后的数据做如下操作
    • 对ChunkMetadataListIterator吐出的数据做归并排序
      • 对于合并出来的每一个IMeasurementSchema及其对应的ChunkMetadata列表
      • 如果是乱序空间的文件合并，采取deserialize合并
        • 通过各自文件的IChunkReader有序把数据读出并整理出对应的time-value列表
          • 如果是MeasurementSchema,使用ChunkReader
          • 如果是VectorMeasurementSchema,使用VectorChunkReader
        • 遍历上述的time-value列表，将数据写入新的IChunkWriter
          • 如果是MeasurementSchema,使用ChunkWriterImpl
          • 如果是VectorMeasurementSchema,使用VectorChunkWriterImpl
        • 判断限流
        • 将IChunkWriter写入新文件
      •  如果是顺序空间的文件合并
        • 如果page足够大，采取append合并
          •  通过各自文件的reader有序把chunk读出来，并通过合并ByteBuffer和统计信息的方式不解析chunk数据点、而有序合并出对应的新Chunk和ChunkMetadata
            • 如果是MeasurementSchema,仅需要前一个chunk和后一个chunk进行合并
            • 如果是VectorMeasurementSchema,需要前一个VectorChunkMetadata对应的所有timeChunk和valueChunk与后一个所有的timeChunk和valueChunk合并
          • 判断限流
          • 将合并完的Chunk和ChunkMetadata写入新文件
        • 如果page不足够大，采取deserialize合并
          • 通过各自文件的IChunkReader有序把数据读出并整理出对应的time-value列表
            • 如果是MeasurementSchema,使用ChunkReader
            • 如果是VectorMeasurementSchema,使用VectorChunkReader
          • 遍历上述的time-value列表，将数据写入新的IChunkWriter
            • 如果是MeasurementSchema,使用ChunkWriterImpl
            • 如果是VectorMeasurementSchema,使用VectorChunkWriterImpl
          • 判断限流
          • 将IChunkWriter写入新文件
  • 关闭reader cache中所有的reader
  • 序列化新文件
  • 关闭新文件writer

跨文件空间合并

原来的流程

• 从MManager中的取出改storageGroup所有的device→sensor
• 遍历device列表 
  • 按组遍历device对应的sensor列表（这里的组是最大同时合并的时间序列数量n）
    • 遍历顺序文件列表，对于每一个顺序文件
      • 根据device读取各个文件对应的ChunkMetadataListIterator（ChunkMetadataListIterator每次按字典序吐出1000个sensor及其对应的ChunkMetadata列表）
      • 循环遍历所有ChunkMetadataListIterator直到没有任何一个ChunkMetadataListIterator还有数据 
        • 对于每一个sensor建立sensor→chunkMetadataList的列表
      • 对于每一个sensor→chunkMetadataList列表进行按合并子任务并行配置进行分组
        • 对于每个子任务的sensor→chunkMetadataList列表
          • 遍历每一个chunkMetadata对应的Chunk，如果有与unseq文件overlapped数据，则插入
          • 如果遍历完该unseq文件还有剩余的数据，则直接append到结果文件后面

Vector引入的问题

1、如果合并的某个sensor是vector的一部分，又在有些时间戳上是空值，乱序合并后会把空值全部去除，导致vector不再整齐。

...