Versions Compared

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

...

  • ConfigNode
    • 分区表管理引擎
    • 共识模块
    • 集群请求处理模块
  • DataNode
    • 执行计划生成器
    • 查询引擎
    • 存储引擎
    • 元数据管理引擎
    • 客户端请求处理模块
    • 协调者
    • 共识模块


Image RemovedImage Added


集群模块分布示例


每个存储组对应 集群总核数/副本数个 VSG 共识组,并且对应 M 个 MManager 共识组

...

  • 数据写入时可在本地进行数据类型检查,避免每次写入访问 ConfigNode 和 MManager
  • 查询时进行本地序列的存在性检查
    • 场景:查询 d1.s1 时,分区表节点会告知协调者此设备所在的设备组所在的所有节点,其中某些节点可能不存在此序列,通过本地元数据可快速识别,避免访问每个数据文件



客户端



网络通信


节点增删


ConfigNode 增删流程

DataNode 增删流程


读写流程

数据管理:DML

...

  • 设备模板的读写流程
  • 客户端与数据节点的【分区表缓存】及【读写流程适配】
  • 节点的后台线程,SEDA模型
  • 心跳,Lease
  • 各模块的改造:StorageGroupProsessor,PlanExecutor,MManager,PhysicalPlan



协作计划


模块(接口)内容参与贡献者设计定稿原型开发完成测试调优完成
分区管理元数据分区策略、元数据负载均衡策略(确定元数据从哪迁移到哪)陈荣钊3.314.315.31
数据分区策略、数据负载均衡策略(确定数据从哪迁移到哪)
共识层(Consensus、Raft)集群扩容、启动流程谭新宇
集群缩容、节点停机
数据迁移流程(负载均衡、缩容会触发数据迁移流程)
Consensus 层读写流程
Raft 读写流程
元数据操作(MManager、ConfigerManager)DDL 执行流程(DataNode 内的元数据缓存更新策略,向 ConfigNode 上报统计信息)薛恺丰、江天
数据写入(Coordinator、StorageEngine、VSG)写入流程(内存控制、客户端分区信息缓存管理、DataNode分区信息缓存管理)侯昊男、权思屹
查询引擎(Coordinator)查询算子张金瑞、田原、苏宇荣、魏祥威
基于规则的优化器
单机查询适配
分布式调度、执行器
查询内存控制
监控(MetricManager)集群监控框架张洪胤
多租户管理权限管理



资源隔离