2017年Apache Kylin加速大数据OLAP-最新进展与典型应用架构分享.pdf

1、最新进展与典型应用架构分享Apache Kylin加速大数据OLAP传统企业级数据仓库架构可视化展现层OLAP数据集市企业级数据仓库数据源n 针对关键业务分析进行了优化n 千锤百炼的数据模型n 行业最佳实践n 丰富的生态系统n 大量训练有素的分析师All rights reserved Kyligence Inc.http:/kyligence.ioOLAP:大数据的缺失部分n 太多的SQL on Hadoopn 不适合做交互式分析n 漫长的学习曲线n 兼容性问题n 技术 vs 数据可视化展现层数据湖数据源HiveImpalaSpark SQLDrillMapReduceSparkAll ri

2、ghts reserved Kyligence Inc.http:/kyligence.ioApache Kylin:将OLAP/DW带回大数据n Hadoop上的OLAP/DWn 支持传统建模方式（Kimball）n 为交互式分析进行优化n ANSI SQLn 原生Hadoop应用n 支持云计算n 支持高并发、关键型应用可视化展现层数据湖数据源HiveImpalaSpark SQLDrillMapReduceSparkOLAP数据集市All rights reserved Kyligence Inc.http:/kyligence.ioAll rights reserved Kyligenc

3、e Inc.http:/kyligence.ioSep 2013项目开始Oct 2014加入Apache孵化器项目Nov 2014InfoWorld:Bossie Award最佳开源大数据工具奖首个来自中国的Apache顶级项目Kyligence公司创建Sep 2015Nov 2015Mar 2016正式开源InfoWorld:Bossie Award最佳开源大数据工具奖Sep 2016商业版KAP发布Aug 2016April 2017Apache Kylin v2.x发布Apache Kylin 历史Apache Kylin全球案例500+用户All rights reserved Kyl

4、igence Inc.http:/kyligence.io0102030405060Q1Q2Q3Q4Q5Q6Q7Q8Q9Q10 Q11 Q12 Q13 Q14 Q15 Q16 Q17 Q18 Q19 Q20 Q21 Q22Kylin 2.2 vs SparkSQL 2.1(越低越好)SparkSQL2.1KAP2.4TPC-H BenchmarkAll rights reserved Kyligence Inc.http:/kyligence.ioKylin 2.2selectl_returnflag,o_orderstatus,sum(l_quantity)assum_qty,sum(l_e

5、xtendedprice)assum_base_pricefromv_lineiteminnerjoin v_orders onl_orderkey=o_orderkeywherel_shipdate=1998-09-16groupbyl_returnflag,o_orderstatusorderbyl_returnflag,o_orderstatus;样例：分析一段时间内，不同“returnflag”和“orderstatus”对应的销售情况SortAggrFilterTablesO(N)JoinAll rights reserved Kyligence Inc.http:/kyligenc

6、e.ioApache Kylin 为什么快？SortCuboidFilterO(flag x status x days)=O(1)预计算结果All rights reserved Kyligence Inc.http:/kyligence.ioApache Kylin 为什么快？SortAggrFilterTablesO(N)Joinl OLAP Cube 理论基础l Model 和 Cube 定义预计算范围l Build Engine 执行预计算任务l Query Engine 在预计算结果上完成查询预计算time,itemtime,item,locationtime,item,locat