Apache Kylin : Analytical Data Warehouse for Big Data
Page History
参考 issue:
Jira
server ASF JIRA serverId 5aa69414-a9e9-3523-82ec-879b028fb15b key KYLIN-5069
Table of Contents |
---|
一、背景
目前,kylin4.0 中仍然需要通过 hiveClient 去获取 hive meta 信息来 load hive table,load hive table 时需要从 $HIVE_HOME/lib 下将 hive_dependency 加载到 kylin 环境中,通过用户反馈发现,由于用户使用的 hive 版本各异,hive_dependency 也会各不相同,在 load hive table 时经常会出现类冲突问题。
...
- 从 kylin4.0 中去除 hive dependency,使用 SparkSession 来获取 hive meta 信息。
- 整理hadoop classpath,只加载 kylin4.0 真正需要的 hadoop 相关 jar 包到 kylin4.0 环境中,去除 SparkClassLoader。
二、开发计划
需要做的事情如下:
1. 从 kylin 启动脚本 kylin.sh 中去除加载 hive dependency 的过程;
...
5. 将 Kylin 4.0 中使用到原有 CLIHiveCLient/BeelineHiveClient 类的地方均替换为使用 SparkHiveClient 类;
6. 清理相关无用代码。
三、配置项变更
kylin.source.hive.client:原默认值为 cli,可配置为 cli 和 beeline;修改之后默认值为 spark_catalog。原来使用 cli 和 beeline 的用户均改变为使用 spark_catalog 来访问 hive meta。
四、测试
代码完成后,在 kylin4 支持的各个环境中进行兼容性测试,主要测试构建、查询和 load hive table。最终在以下环境通过测试:
...