Page History

...

这里, 我尝试探索如何将 System Cube 和 Real-time OLAP 相集成, 来降低 System Cube 的数据准备延迟. 事实上, System Cube 本身已经包含了 KafkaSink, 所以需要增加的工作是修改 SSCreatorSCCreator, 使之能准备 Real-time OLAP 所需的 Cube 元数据.

二 设计

eBay 在eBay 引入的 System Cube 特性引入了一个新的 特性中, 通过下图的 Metrics System , 可以获取和汇报 Job 和 Quey 主题的消息到不同的Sink. 代码主要包含在 core-metrics, metrics-reporter-hive, metrics-reporter-kafka 三个 Maven module中, 另外还有 QueryMetricsFacade, JobMetricsFacade.

System Cube 的 JIRA issue 列表如下如下:

Dashboard 的 JIRA issue 如下:

Metrics System 示意图如下架构示意图如下:

...