1-5 阿里一站式实时数仓的建设经验分享.pdf

1、阿里一站式实时数仓的建设姜伟华（果贝）阿里巴巴资深技术专家，阿里一站式实时数仓Hologres负责人Agenda 实时数仓的演进：一站式实时数仓 阿里一站式实时数仓Hologres简介 阿里CCO基于Hologres的一站式实时数仓建设过程与经验大数据计算正从规模化走向实时化春晚直播实时大屏双 11 GMV 实时大屏城市大脑实时交通监测银行实时风控监测淘宝实时个性化推荐实时大数据的线上与线下实时报表精细化运营实时监控、实时风控实时推荐线下线上用法OLAP分析简单查询架构实时数仓Lambda架构+KV存储方法实时明细+自由查询预计算实时大数据的建设之痛KafkaClickHouseDruid大数

2、据实时体系“纷繁芜杂”ReportsDashboards实时写入实时数仓实时大数据的建设之痛KafkaFlink维表关联HiveClickHouseDruidHBaseRedisMaxCompute大数据实时体系“纷繁芜杂”ReportsDashboardsAPIApplications实时写入实时数仓Lambda架构实时大数据的建设之痛KafkaFlink维表关联HiveClickHouseDruidHBaseRedisMaxCompute 架构复杂 数据同步难 资源消耗大 数据孤岛 人才培养难 开发成本高 不敏捷大数据实时体系“纷繁芜杂”ReportsDashboardsAPIApplic

3、ations实时写入实时数仓Lambda架构实时大数据需要敏捷化实时大数据的开发越来越敏捷，以适应业务场景的灵活多变，强依赖一款强大的实时数仓引擎无学习成本像数据库一样使用大数据标准SQL，易上手适配常用工具（如Tableau）使用普惠化业务自助开发低代码数据治理成为刚需开发敏捷化写入即分析，减少ETL和数仓分层存储明细数据，而不是预计算结果灵活分析，快速上线实时数仓走向在线化内部使用 商家助手 无人车 物流配送客户体验实时风控To BTo C实时数仓已经成为业界的标配，并越来越成为生产系统的一部分实时数仓走向在线化阿里巴巴智能客服达摩院无人车送货从阿里看实时数仓的新趋势：一站式实时数仓一站式

4、实时数仓：一个系统同时解决OLAP分析与线上服务两个问题行存dws列存dimdwsdwd线上服务OLAP分析实时数仓实时写入离线写入ReportsDashboardsAPIApplications从阿里看实时数仓的新趋势：一站式实时数仓一站式实时数仓：一个系统同时解决OLAP分析与线上服务两个问题 业务敏捷响应 数据自助分析 避免数据割裂 赋能数据服务 简化运维管理行存dws列存dimdwsdwd线上服务OLAP分析实时数仓实时写入离线写入ReportsDashboardsAPIApplicationsAgenda 实时数仓的演进：一站式实时数仓 阿里一站式实时数仓Hologres简介 阿里C

5、CO基于Hologres的一站式实时数仓建设过程与经验Hologres：经过阿里核心场景大规模验证的一站式实时数仓支持阿里集团核心实时业务电商类：淘宝数字化大屏、AliExpress电商分析ToB&ToC：阿里妈妈广告、CCO智能客服物流类：菜鸟智能物流、达摩院无人车送货飞猪实时大屏、饿了么实时配送、等双11生产验证表现完美双11写入RPS峰值11亿+服务（点查）QPS：单业务峰值上亿+OLAP分析QPS：单业务峰值2000+PB级数据存储DataHub在线应用运营看版数据大屏MaxCompute服务分析Hologres实时数仓离线数仓实时计算Flink数据总线DLF 数据湖阿里大数据产品矩阵

6、Hologres作为大数据OLAP分析与线上服务的统一出口 一套系统提供分析与服务两种能力实时离线一体化分析服务一体化湖仓一体流批一体Hologres：一站式实时数仓一站式实时数仓：一个系统同时解决OLAP分析与线上服务两个问题20202021Future一套技术栈 统一技术栈（引擎）统一模型、统一SQL 不同的实例和数据链路Hologres 实例（行存）Hologres 实例（列存）数据写入线上服务OLAP分析Hologres：一站式实时数仓一站式实时数仓：一个系统同时解决OLAP分析与线上服务两个问题20202021Future一套技术栈 统一技术栈（引擎）统一模型、统一SQL 不同的实例