Versions Compared

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

0.目标

用户设置存储组往往根据业务语义设置,有时只有一个存储组,这意味着写入和查询的并发程度为1,为了增加写入和查询的并行度,对用户的设备进行虚拟存储组划分


1.用户视角

1.1 案例描述

    用户写入root.sg1.d1.s1, root.sg1.d2.s1, root.sg1.d3.s1, root.sg2.d1.s1, root.sg2.d2.s1五条序列,假设在给定的hash函数下root.sg1.d1映射为0, root.sg1.d2映射为1, root.sg1.d3映射为0,root.sg2.d1映射为0,root.sg2.d2映射为1,给定逻辑存储组数量为2,虚拟存储组数量也为2,假设写入数据均为顺序写入。

...

注意:由于刷盘并行度由物理存储组层控制,对于sg1来说,其刷盘并行度为2,这导致了两个虚拟存储组的数据刷在两个不同的文件中;对于sg2来说,其刷盘并行度为1,这导致两个虚拟存储组的数据刷在同一个文件中。


升级方案:将方案一“0, 升级方案:由两个方案的目录结构可知,升级时将方案一“0, 1”文件夹下的内容合并放入上层文件夹即可


2.开发者视角

...

(1)Storage Engine拿到device ID,根据其逻辑存储组名找到对应的StorageGroupManager
(2)使用StorageGroupManager.getAllVirutalStorageGroupProcessor方法拿到所属全部虚拟存储组(方案二中就是StorageGroupProcessor)
(3)将请求转发至所有虚拟存储组


3.5主要开发任务
(1)建立VirtualPartitioner接口和相关实现类
(2)修改存储组分配逻辑
(3)修改merge相关代码
(4)修改恢复相关代码
(5)功能相关配置和开关
(6)协同sync和分布式进行代码修改
(7)全面的测试检查和修复,包括分布式相关测试
(8)正确性测试
(9)性能测试