7-3Impala在网易大数据中的使用和优化实践.pdf

《7-3Impala在网易大数据中的使用和优化实践.pdf》由会员分享，可在线阅读，更多相关《7-3Impala在网易大数据中的使用和优化实践.pdf（33页珍藏版）》请在三个皮匠报告上搜索。

1、Impala在网易大数据中使用和优化实践 温正湖 Impala定位及其优势 01 02 03 Impala增强和优化 Impala使用案例分析 Impala定位及其优势 Impala在数据处理中的角色 传统数据库/实时 分析型数仓 离线数仓 数 据 量 查询/处理引擎 百万-百亿：Impala/Presto/GP/ 百万以下：MySQL/PG/MongoDB/ 百亿以上：Hive/Spark/ 数据规模与数据处理引擎 数仓建模方式 宽表 DruidClickHouse 星型雪花型 ImpalaGPPresto 自助分析、BI报表等 典型使用场景 将Impala作为通用查询引擎 Impala在数

2、据处理中的角色 Impala优势 去中心化的MPP并行架构 Impala架构 vs 传统架构 多查询入口，防止对外服务单点故障 MPP并行计算并行Join并行Aggregation并行TopN Impala优势 MPP架构，去中心化 优秀的查询性能 CBO：支持基于代价执行优化； Catalog缓存：缓存库和表信息，HDFS数据块，统计信息等 Impala优势 MPP架构，去中心化 优秀的查询性能 Impala vs presto Impala vs sparksql 仅供参考！ Impala优势 MPP架构，去中心化 优秀的查询性能 友好的WebUI界面 节点内存消耗查看 每个队列的内存消耗

3、 每个查询在该节点内存消耗 该节点上查询分析 查询分析 SQL诊断 异常查询终止 Metrics信息查看 完全兼容Hive元数据 Apache顶级项目，社区活跃度高 支持多种数据格式（parquet/orc等） 与Kudu结合使用，实时数仓 Impala增强和优化 Impala管理服务器 元数据同步增强 基于zk的服务高可用 支持更多存储后端 其他增强和优化 Impala增强和优化 Impala管理服务器 社区版现状和不足 虽通过webui提供了丰富直观的各种信息 但非持久化，进程宕机或重启后，消息丢失 管理服务器实现 使用MySQL保存集群信息 持久化集群配置和统计信息 持久化SQL详细信息，包括执行计划等 mysql 增强版的Impala webui 汇总各coordinator执行的SQL 直观展示集群当前正在运行SQL 管理服务器作用 集群持续优化平台 展示集群SQL性能指标 管理