THIS IS A TEST INSTANCE. ALL YOUR CHANGES WILL BE LOST!!!!
...
- ConfigNode
- 分区表管理引擎
- 共识模块
- 集群请求处理模块
- DataNode
- 执行计划生成器
- 查询引擎
- 存储引擎
- 元数据管理引擎
- 客户端请求处理模块
- 协调者
- 共识模块
集群模块分布示例
每个存储组对应 集群总核数/副本数个 VSG 共识组,并且对应 M 个 MManager 共识组
...
- 数据写入时可在本地进行数据类型检查,避免每次写入访问 ConfigNode 和 MManager
- 查询时进行本地序列的存在性检查
- 场景:查询 d1.s1 时,分区表节点会告知协调者此设备所在的设备组所在的所有节点,其中某些节点可能不存在此序列,通过本地元数据可快速识别,避免访问每个数据文件
客户端
网络通信
节点增删
ConfigNode 增删流程
DataNode 增删流程
读写流程
数据管理:DML
...
- 设备模板的读写流程
- 客户端与数据节点的【分区表缓存】及【读写流程适配】
- 节点的后台线程,SEDA模型
- 心跳,Lease
- 各模块的改造:StorageGroupProsessor,PlanExecutor,MManager,PhysicalPlan
协作计划
模块(接口) | 内容 | 参与贡献者 | 设计定稿 | 原型开发完成 | 测试调优完成 |
分区管理 | 元数据分区策略、元数据负载均衡策略(确定元数据从哪迁移到哪) | 陈荣钊 | 3.31 | 4.31 | 5.31 |
数据分区策略、数据负载均衡策略(确定数据从哪迁移到哪) | |||||
共识层(Consensus、Raft) | 集群扩容、启动流程 | 谭新宇 | |||
集群缩容、节点停机 | |||||
数据迁移流程(负载均衡、缩容会触发数据迁移流程) | |||||
Consensus 层读写流程 | |||||
Raft 读写流程 | |||||
元数据操作(MManager、ConfigerManager) | DDL 执行流程(DataNode 内的元数据缓存更新策略,向 ConfigNode 上报统计信息) | 薛恺丰、江天 | |||
数据写入(Coordinator、StorageEngine、VSG) | 写入流程(内存控制、客户端分区信息缓存管理、DataNode分区信息缓存管理) | 侯昊男、权思屹 | |||
查询引擎(Coordinator) | 查询算子 | 张金瑞、田原、苏宇荣、魏祥威 | |||
基于规则的优化器 | |||||
单机查询适配 | |||||
分布式调度、执行器 | |||||
查询内存控制 | |||||
监控(MetricManager) | 集群监控框架 | 张洪胤 | |||
多租户管理 | 权限管理 | ||||
资源隔离 |