Versions Compared

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

...

  • ConfigManager(分区管理器)
    • 收集节点状态信息、负责分区表的修改、扩缩容、负载均衡
  • PartitionTable(分区信息表)
    • 元数据分区表、数据分区表
  • StorageEngine(存储引擎)
    • 单例结构,内部管理多个 DataRegion。TsFile 数据文件、数据合并、数据同步
  • DataRegion(数据分区)
    • 管理一部分数据分区
  • SchemaEngine(元数据管理引擎)
    • 单例结构,内部管理多个 SchemaRegion 
  • SchemaRegion
    • 管理一部分元数据分区,提供元数据的增、删、查操作
  • Protocol(网络协议层)Protocal(网络协议层)
    • 包含 RPC、RestAPI、MQTT 等多种协议的实现,将各种网络协议传来的请求转化为统一的数据处理格式
  • ServiceProvider(请求处理层)
    • 接收统一格式的数据处理请求,管理线程的并发模型。管理权限。
  • Planner(执行计划生成器)
    • SQL 解析器、查询计划生成、查询优化,生成 PhysicalPlan
  • QueryExecutor(查询执行器)
    • 原始数据查询、聚合查询等
  • Coordinator(协调器)
    • 接收执行计划,并判断此计划是本地执行还是远端执行。对于写入计划,交给共识模块进行多副本写入。对于查询计划,负责执行计划的拆分、分发读写请求、合并结果集。
  • Consensus(共识层)
    • 管理多个数据副本组,根据一致性级别调度读写请求到对应副本

...

第三阶段:MPP 查询引擎,ConfigManager 负载均衡策略,Consensus 的 sofa-jraft 集成

协作计划


模块(接口)内容参与贡献者设计定稿原型开发完成测试调优完成
分区管理(ConfigManager)元数据分区策略、元数据负载均衡策略(确定元数据从哪迁移到哪)陈荣钊3.314.315.31
数据分区策略、数据负载均衡策略(确定数据从哪迁移到哪)
共识层(Consensus、Raft)集群扩容、启动流程谭新宇
集群缩容、节点停机
数据迁移流程(负载均衡、缩容会触发数据迁移流程)
Consensus 层读写流程
Raft 读写流程
元数据操作(SchemaRegion)DDL 执行流程(DataNode 内的元数据缓存更新策略,向 ConfigNode 上报统计信息)薛恺丰、江天
数据写入(Coordinator、StorageEngine、DataRegion)写入流程(内存控制、客户端分区信息缓存管理、DataNode分区信息缓存管理)侯昊男、权思屹
查询引擎(Coordinator)查询算子张金瑞、田原、苏宇荣、魏祥威
基于规则的优化器
单机查询适配
分布式调度、执行器
查询内存控制
监控(MetricManager)集群监控框架张洪胤
多租户管理权限管理



资源隔离