Versions Compared

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

...

代码修改


开发分支:new_cluster


模块结构:

DataNode :单机模块转化为分布式模块(server

...

module → DataNode

...

module)

存储引擎的适配

去掉 StorageGroupManager,将 VirtualStorageGroupProsessor 交给 StorageEngine 管理

...

  • 单机:实现 StandAlongServiceProvider,将请求(PhysicalPlan)发送给 PlanExecutor(QueryExecutor)执行
  • 分布式:实现 ClusterServiceProvider,将请求(PhysicalPlan)发送给 Coordinator 执行,Coordinator 再与 ConfigNode 和其他 DataNode 交互进行读写。


新增 package:Coordinator

...


ConfigNode:新增 Module


新增 package:ConfigManager、PartitionTable

...


Consensus:新增 Module



开发步骤:

第一阶段:ConfigNode(ConfigManager 分区策略、PartitionTable)、Consensus 框架及 Ratis 集成、单机模块修改,集群启动、增加节点,VSG 内部元数据缓存管理( MManager 或 MTree)

第二阶段:写入流程、数据迁移流程,单机查询算子化,监控框架

第三阶段:MPP 查询引擎,ConfigManager 负载均衡策略,Consensus 的 sofa-jraft 集成


ConfigNode


功能:分区表管理者维护节点状态信息、数据分区表、元数据分区表,同时负责集群扩缩容和负载均衡。

...