Apache Kylin : Analytical Data Warehouse for Big Data
Page History
...
这里, 我尝试探索如何将 System Cube 和 Real-time OLAP 相集成, 来降低 System Cube 的数据准备延迟. 事实上, System Cube 本身已经包含了 KafkaSink, 所以需要增加的工作是修改 SSCreatorSCCreator, 使之能准备 Real-time OLAP 所需的 Cube 元数据.
二 设计
eBay 在eBay 引入的 System Cube 特性引入了一个新的 特性中, 通过下图的 Metrics System , 可以获取和汇报 Job 和 Quey 主题的消息到不同的Sink. 代码主要包含在 core-metrics, metrics-reporter-hive, metrics-reporter-kafka 三个 Maven module中, 另外还有 QueryMetricsFacade, JobMetricsFacade.
System Cube 的 JIRA issue 列表如下如下:
Jira server ASF JIRA serverId 5aa69414-a9e9-3523-82ec-879b028fb15b key KYLIN-2721
Dashboard 的 JIRA issue 如下:
Jira server ASF JIRA serverId 5aa69414-a9e9-3523-82ec-879b028fb15b key KYLIN-2726
Metrics System 示意图如下架构示意图如下:
Jira | ||||||
---|---|---|---|---|---|---|
|
...