1-2 基于 Apache Doris 构建实时统一的现代数据分析平台.pdf

1、SelectDB CTO&Apache Doris Committer衣国垒|基于 Apache Doris 构建实时统一的现代数据分析平台01当前数据分析栈的现状与挑战03Apache Doris 最新特性解读02基于 Apache Doris构建实时统一的数据底座目录 CONTENT04关于我们|01当前数据分析栈的现状与挑战当前数据栈|数据湖应用系统/ERPOracle/salesforceLogsFiles/Object Storages第三方数据API批数据处理系统Spark/MR数据仓库Vertica/Greenplum/Redshift/SynapseDeltaLake/Iceb

2、erg/HudiS3/HDFSOLAPClickhouse/Doris/Kylin/Druid报表Tableau/Qlik/PowerBI用户行为分析漏斗分析/画像圈选/ABTest实验分析DataApps基于日志的Tracing系统流数据处理系统Kafka Flink数据同步工具Kettle/Informatica/DTS架构演进|2020-202X架构统一+云不再追求为了某个场景引入一个组件，而是希望一个组件能解决多个场景的问题，多个组件融合、数仓与大数据架构模糊；结合云上基础设施，在提升数据分析效率的同时对资源管理更加高效，追求更高的性价比。结合云基础设施和技术栈统一2013-2020时

3、效与性能消息与处理引擎：Spark、Flink、KafkaOLAP：Impala、Doris、Kylin、Presto、Druid、Clickhouse、Greenplum大数据技术栈百花齐放2006-2015数据量移动互联网时代带来数据量爆炸增加，而Hadoop的诞生使得海量数据的计算与分析成为可能，不再受传统一体化架构的限制以Hadoop诞生为界现代数据分析需求，有哪些变与不变？|提升查询效率一直是OLAP数据库发展的第一动力。从过去查询一个报表、跑SQL需要半个小时、几十分钟到现在的秒级甚至毫秒级，这给带来效率的提升是巨大的。数据价值会随时间推移而降低，实时数据的重要性已经在越来越多的业

4、务场景中得到验证，尤其是企业业务精细化运营中实时数据的作用不可取代。业务趋势预知与系统建设滞后的矛盾，让用户尽快看到数据应用的效果，而不是经由需求提出-评审-开发-测试-上线验证，需求交付周期过于冗长。数据分析不再是专业数据分析师所专享的，企业中的任何人都可以自由且无障碍的去访问所需要的数据，并可以给予自己对数据的认知去探索并做决策。现代数据分析需求的挑战|更快Faster更简单More Easily更稳定More Stable性能突出建模灵活生态丰富资源隔离多维报表：查询响应毫秒级、低延时、高并发即席查询：查询模式灵活、数据高吞吐、丰富的SQL语法支持统一数仓：在线服务与离线ETL兼顾、业务

5、间资源不抢占湖仓加速：支持访问或加载多种数据源、系统生态无缝连接SQL兼容Join支持稳定可靠易于运维数据分析场景需求差异数据分析场景需求差异|02基于 Apache Doris构建实时统一的数据底座Apache Doris是一个基于MPP架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris 在多维报表、即席查询、用户画像、实时大屏、日志分析、数据湖查询加速等诸多业务领域都能得到很好应用。2022年6月正式从Apache孵化器毕业成为Apac

6、he顶级项目，目前 Apache Doris 社区已经聚集了来自不同行业近百家企业的380余位贡献者，并且每月活跃贡献者人数也接近100位。Apache Doris 如今在中国乃至全球范围内都拥有着广泛的用户群体，截止目前，Apache Doris 已经在全球超过700家企业的生产环境中得到应用，在中国市值或估值排行前50的互联网公司中，有超过80%长期使用 Apache Doris，包括百度、美团、小米、京东、字节跳动、腾讯、快手、网易、微博、新浪、360等。同时在一些传统行业如金融、能源、制造、电信等领域也有着丰富的应用。Apache Doris是什么|RDBMS（MySQL,PG,Ora