Versions Compared

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

...

名词类型对应现有的类解释
ConfigNode节点角色不对应类集群配置节点,管理集群节点信息、管理分区信息
DataNode节点角色不对应类数据节点,管理数据、元数据
ConfigManager模块新加分区节点管理者,处理集群内部请求
PartitionTable模块新加分区表结构,包含元数据分区信息和数据分区信息
StorageEngine模块StorageEngine一个进程内的唯一数据存储引擎(单例)
DataRegion模块VirtualStorageGroupProsessor管理一部分数据分区
SchemaEngine模块新加

一个进程内的唯一元数据管理引擎(单例)

SchemaRegion模块SchemaRegion管理一部分元数据分区
StorageGroup元数据存储组,不同存储组的数据物理隔离
DeviceGroup设备管理粒度每个存储组会对应固定个数的设备组,作为管理设备的基本单元,每个设备都会分配到某一个设备组中。

...

第三阶段:MPP 查询引擎,ConfigManager 负载均衡策略,Consensus 的 sofa-jraft 集成

协作计划


模块(接口)内容参与贡献者设计定稿原型开发完成测试调优完成
分区管理(ConfigManager)元数据分区策略、元数据负载均衡策略(确定元数据从哪迁移到哪)陈荣钊3.314.315.31
数据分区策略、数据负载均衡策略(确定数据从哪迁移到哪)
共识层(Consensus、Raft)集群扩容、启动流程谭新宇
集群缩容、节点停机
数据迁移流程(负载均衡、缩容会触发数据迁移流程)
Consensus 层读写流程
Raft 读写流程
元数据操作(SchemaRegion)DDL 执行流程(DataNode 内的元数据缓存更新策略,向 ConfigNode 上报统计信息)薛恺丰、江天
数据写入(Coordinator、StorageEngine、DataRegion)写入流程(内存控制、客户端分区信息缓存管理、DataNode分区信息缓存管理)侯昊男、权思屹
查询引擎(Coordinator)查询算子张金瑞、田原、苏宇荣、魏祥威
基于规则的优化器
单机查询适配
分布式调度、执行器
查询内存控制
监控(MetricManager)集群监控框架张洪胤
多租户管理权限管理



资源隔离