Versions Compared

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

...

合并后: timeChunk(page1, page2, page6) s1Chunk(page3, page4, page7), s2Chunk(page5, page8)



跨文件空间合并(将乱序文件合并至顺序空间)

不存在对齐时间序列的消除乱序文件合并流程

  • 从MManager中的取出该 storageGroup 所有的device→sensor
  • 遍历device列表 
    • 按组遍历device对应的sensor列表
      • 遍历顺序文件列表,对于每一个顺序文件
        • 根据device读取各个文件对应的ChunkMetadataListIterator(ChunkMetadataListIterator每次按字典序吐出1000个sensor及其对应的ChunkMetadata列表)
        • 循环遍历所有ChunkMetadataListIterator直到没有任何一个ChunkMetadataListIterator还有数据 
          • 对于每一个sensor建立sensor→chunkMetadataList的列表
        • 对于每一个sensor→chunkMetadataList列表进行按合并子任务并行配置进行分组
          • 对于每个子任务的sensor→chunkMetadataList列表
            • 遍历每一个chunkMetadata对应的Chunk,如果有与unseq文件overlapped数据,则插入
            • 如果遍历完该unseq文件还有剩余的数据,则直接append到结果文件后面

...