10-6 Apache Kyuubi (Incubating) 1.5.0 特性解读.pdf

1、Apache KyuubiApache Kyuubiv1.5.0 v1.5.0 特性解读特性解读潘成网易数帆 软件工程师Apache Kyuubi(Incubating)PPMC|0101架构设计0202引擎扩展0303功能增强0404未来可期目录目录 CONTENTCONTENT|架构设计01|计算引擎服务化演进胖客户端=瘦客户端|胖客户端案例hivespark-sqlspark-shellSpark Client ModeFlink SQL CLI瘦客户端案例HiveServer2Spark Thrift ServerPresto/TrinoFlink SQL Gateway胖客户端胖客户

2、端瘦客户端瘦客户端隔离性强弱资源利用率低高易故障组件Compute Engine瘦客户端模式采用集中式服务化管理模式，降低了计算引擎迭代更新的成本；可以通过多实例部署服务节点实现HA，降低计算引擎故障影响计算引擎服务化演进计算引擎进程分离|在瘦客户端模式的基础之上，将API Server和Compute Engine进程分离，并由API Server管理Compute Engine进程的生命周期，有如下优势：保持瘦客户端模式的服务化优势多版本引擎支持，Classpath隔离大幅提升API Server进程的稳定性为计算引擎弹性分配资源进程分离、主机共享案例Kyuubi Spark Yarn/K

3、8s Client ModeKyuubi Flink Yarn/K8s PerJob Session Mode进程分离、主机分离案例Kyuubi Spark Yarn/K8s Cluster Mode计算引擎服务化演进Kyuubi 高可用弹性架构|服务发现Kyuubi兼容HiveServer2的HA协议，使用Zookeeper作为服务发现组件社区实践中，服务发现也有使用K8s Load Balance、Ingress等组件的案例引擎路由规则Kyuubi使用Zookeeper路径定义路由规则，引入引擎共享级别概念，并预置了USER、CONNECTION、GROUP等引擎共享级别社区实践中，也有基

4、于K8s Api Server、K8s Labels的引擎路由规则实现API Server：Hive Thrift、MySQL、RESTCompute Engine:Spark、Flink、Trino、Hive引擎扩展02|Kyuubi Spark Engine成熟稳定-完善的生命周期管控，经大规模生产验证|版本支持Spark 3.0Spark 3.1(w/Kyuubi extension)Spark 3.2(w/Kyuubi extension)Spark 3.3(Coming soon)部署模式Spark Local/StandaloneSpark on Yarn(Client and C

5、luster mode)Spark on K8s(Client and Cluster mode)扩展增强小文件合并、限制扫描分区数、限制查询结果集大小Z-Order优化、Stage配置隔离等Spark Ranger Plugin（Coming soon）版本支持Flink 1.14Flink 1.15(Coming soon)部署模式Flink LocalFlink on Yarn PerJob modeFlink on Yarn Session modeFlink on Yarn Application mode(Coming soon)Flink on K8s Application m

6、ode(Coming soon)Kyuubi Flink 引擎是社区中最受关注、最具人气的计算引擎Application mode是最契合Kyuubi架构理念的部署模式Kyuubi Flink Engine尝鲜试用-最受开发者和用户关注，快速演进中|Kyuubi Trino Engine生产可用-一定规模的社区用户生产验证|Kyuubi Hive Engine敬请期待-火热开发中功能增强03|更丰富的引擎共享策略在隔离性和资源利用率上取得平衡|基于Zookeeper路径的计算引擎路由规则|路径规则/namespace_share_level_engine_type /user_name|gro