THIS IS A TEST INSTANCE. ALL YOUR CHANGES WILL BE LOST!!!!
...
名词 | 类型 | 对应现有的类 | 解释 |
---|---|---|---|
ConfigNode | 节点角色 | 不对应类 | 集群配置节点,管理集群节点信息、管理分区信息 |
DataNode | 节点角色 | 不对应类 | 数据节点,管理数据、元数据 |
ConfigManager | 模块 | 新加 | 分区节点管理者,处理集群内部请求 |
PartitionTable | 模块 | 新加 | 分区表结构,包含元数据分区信息和数据分区信息 |
StorageEngine | 模块 | StorageEngine | 一个进程内的唯一数据存储引擎(单例) |
DataRegion | 模块 | VirtualStorageGroupProsessor | 管理一部分数据分区 |
SchemaEngine | 模块 | 新加 | 一个进程内的唯一元数据管理引擎(单例) |
SchemaRegion | 模块 | SchemaRegion | 管理一部分元数据分区 |
StorageGroup | 元数据 | 无 | 存储组,不同存储组的数据物理隔离 |
DeviceGroup | 设备管理粒度 | 无 | 每个存储组会对应固定个数的设备组,作为管理设备的基本单元,每个设备都会分配到某一个设备组中。 |
...
第三阶段:MPP 查询引擎,ConfigManager 负载均衡策略,Consensus 的 sofa-jraft 集成
协作计划
模块(接口) | 内容 | 参与贡献者 | 设计定稿 | 原型开发完成 | 测试调优完成 |
分区管理(ConfigManager) | 元数据分区策略、元数据负载均衡策略(确定元数据从哪迁移到哪) | 陈荣钊 | 3.31 | 4.31 | 5.31 |
数据分区策略、数据负载均衡策略(确定数据从哪迁移到哪) | |||||
共识层(Consensus、Raft) | 集群扩容、启动流程 | 谭新宇 | |||
集群缩容、节点停机 | |||||
数据迁移流程(负载均衡、缩容会触发数据迁移流程) | |||||
Consensus 层读写流程 | |||||
Raft 读写流程 | |||||
元数据操作(SchemaRegion) | DDL 执行流程(DataNode 内的元数据缓存更新策略,向 ConfigNode 上报统计信息) | 薛恺丰、江天 | |||
数据写入(Coordinator、StorageEngine、DataRegion) | 写入流程(内存控制、客户端分区信息缓存管理、DataNode分区信息缓存管理) | 侯昊男、权思屹 | |||
查询引擎(Coordinator) | 查询算子 | 张金瑞、田原、苏宇荣、魏祥威 | |||
基于规则的优化器 | |||||
单机查询适配 | |||||
分布式调度、执行器 | |||||
查询内存控制 | |||||
监控(MetricManager) | 集群监控框架 | 张洪胤 | |||
多租户管理 | 权限管理 | ||||
资源隔离 |