Apache Kylin : Analytical Data Warehouse for Big Data
Kylin 的监控系统的验证, 解释和增强
一 背景
在 Kylin 2.3 发布后, eBay 的 Kylin team 发布了 System Cube 和 Dashboard, 使得 Kylin 用户可以更加容易地收集和观测 Kylin 应用级别的 Metrics 信息. 在目前版本的 Kylin, 通过配置 System Cube 为 HiveSink 或者 KafkaSink, 可以将 Metrics 信息发布到不同的 Sink, 并且通过定时调度构建任务可以构建 System Cube 以满足通过 SQL 查询 Kylin的系统信息. 此外, 借助 Dashboard 用户可以轻松地做到 Kylin 系统监控信息的可视化分析.
在 Kylin 3.0, eBay 的 Kylin team 发布了另外一个特性, 也就是 Real-time OLAP, 可以使得用户可以实时地获取和查询流式数据源.
这里, 我尝试探索如何将 System Cube 和 Real-time OLAP 相集成, 来降低 System Cube 的数据准备延迟. 事实上, System Cube 本身已经包含了 KafkaSink, 所以需要增加的工作是修改 SSCreator, 使之能准备 Real-time OLAP 所需的 Cube 元数据.
二 设计
eBay 引入的 System Cube 特性引入了一个新的 Metrics System, 代码主要包含在core-metrics, metrics-reporter-hive, metrics-reporter-kafka 三个 Maven module中, 另外还有 QueryMetricsFacade, JobMetricsFacade.
JIRA issue 列表如下:
Metrics System 示意图如下:
三 如何使用
四 Metrics信息
五 参考链接
Overview
Content Tools
ThemeBuilder
Apps