10-1 网易基于 Spark + Kyuubi 内核优化与服务化实践.pdf

1、网 易 基 于 Ky u u b i+S p a r k内 核 优 化 以 及 实 践尤夕多 ulysses-you|01Spark Adaptive Query Execution02目录目录CONTENT|Kyuubi+Spark 数仓类任务优化实践Apache SparkAdaptive Query Execution01|Adaptive Query Execution History|自适应查询 Adaptive/AQE/AESpark 2.xSpark 3.0Spark 3.1Spark 3.2Spark 社区有了 AQE 概念Intel 社区提出新的 AQE 框架Spark 社区

2、基于 Intel 的思路对 AQE 重构社区默认开启 AQE网易开始参与 AQE 这个特性优化Adaptive Query Execution Shuffle|Small Reduce PartitionSkewed Reduce PartitionAdaptive Query Execution-Small Reduce Partition|Coalesce Shuffle PartitionAdaptive Query Execution Skewed Reduce Partition|Optimize Skewed JoinOptimize Skew In Rebalance PartitionAdaptive Query Execution Optimize Plan|Dynamic Join SelectionKyuubi+Spark数仓类任务优化实践02|Kyuubi+Spark 数仓类任务实践 架构|Thrift&JDBC&Rest多租户云原生Kyuubi+Spark 数仓类任务实践 安全|KerberosKerberos-ProxyRangerKyuubi+Spark 数仓类任务实践 方案|Distribute By+Local SortRebalance+Z-OrderKyuubi+Spark 数仓类任务实践 数据|降低存储成本提高查询性能非常感谢您的观看|