熟悉的 Kylin 的朋友都知道,Apache Kylin 构建完的数据是存储在 HBase 中的。Kylin on HBase 方案经过长时间的发展已经比较成熟,但是也还存在着一定的局限性。Kylin 当前主要的计算是在单机节点完成的,存在单点问题。而且由于 HBase 非真正列存的问题,Cuboids 信息需要压缩编码,读取 HBase 数据的时候再反序列化、分割,额外增加了计算压力。另外,HBase 运维难度比较大,不便于上云。面对以上问题,Kyligence 推出了 Kylin On Parquet 方案。
Kyligence 在 2018 年开始策划 Kylin On Parquet 方案,在 Kylin 商业版中验证了方案的可行性和优势,如今便贡献回开源社区。Kylin On Parquet 依托 Spark,能够做到分布式计算,不再存在单点瓶颈,调试也会更加方便。并且去 Hadoop,只需依赖 Spark,能够很好的支持云上存储和部署。
目前,Kylin on Parquet 源码已经开源:https://github.com/Kyligence/kylin-on-parquet-v2。
在本次直播中,来自 Kyligence 的大数据研发工程师王汝鹏将带大家快速了解 Kylin on Parquet 的架构、原理以及如何开发调试代码。
Kylin Online 第 4 期
Kylin on Parquet 介绍及快速上手
活动亮点
Kylin on Parquet 方案的架构介绍、原理讲解,以及与 Kylin 原有构建查询引擎的性能比较。
Live Demo 带您了解如何使用、开发与调试 Parquet 代码。
Q&A 环节为您答疑解惑,您也有机会获赠「Kylin 权威指南」~
哪些人应该参加
想尝鲜 Kylin 最新一代存储方式,希望与志同道合的 Kylin Contributor 们一起探讨与参与 Kylin on Parquet 开发。
有兴趣了解下一代 Kylin 面向云原生 OLAP 引擎的架构原理。
直播时间
4 月 18 日(下周六) 20:00 – 21:00
关于讲师
王汝鹏,Kyligence 公司大数据研发工程师,Apache Kylin Contributor,目前主要负责开源 Kylin 构建引擎的维护和 Kylin on Parquet 的开源工作。
如何报名
↓扫描下方二维码报名↓
报名截止时间:4 月 18 日(下周六) 12:00
报名前请认真阅读下方报名提示,以免错过直播:
本次活动的所有信息将通过邮件、活动微信群与您同步,务必正确填写邮箱及电话。
活动中参与互动,将有机会 pick 随机掉落的精美社区周边以及书籍哦~
了解更多大数据资讯,点击进入Kyligence官网