极简数据服务Hologres：阿里云大数据分析服务一体化之路（28页）.pdf

《极简数据服务Hologres：阿里云大数据分析服务一体化之路（28页）.pdf》由会员分享，可在线阅读，更多相关《极简数据服务Hologres：阿里云大数据分析服务一体化之路（28页）.pdf（28页珍藏版）》请在三个皮匠报告上搜索。

1、极简数据服务Hologres:阿里云大数据分析服务一体化之路姜伟华（果贝）阿里云实时数仓Hologres研发负责人目录 大数据实时数仓的发展和现状阿里云一站式实时数仓Hologres与分析服务一体化Hologres与PostgreSQL的不解之缘大数据计算正从规模化走向实时化春晚直播实时大屏双 11 GMV 实时大屏城市大脑实时交通监测银行实时风控监测淘宝实时个性化推荐业务在线化、运营精细化依赖数据驱动内部使用 商家助手 无人车 物流配送客户体验实时风控To BTo C大数据数仓体系的“纷繁芜杂”Kafka归档APIApplicationsReportsDashboards批处理离线加速联邦分

2、析点查询RedisMysqlDrillPresto结果缓存HiveMaxCompute实时写入ClickHouseDruidFlink订阅实时写入维表关联HBaseCassandra实时分析架构复杂、数据同步难、资源消耗大、数据孤岛、人才培养难、开发成本高、不敏捷ServingAnalyticsTransactionHybridTransaction/AnalyticsProcessing（HTAP）需要事务机制保证ACID适合模型简单，简单分析场景，以TP模型解决AP的问题HybridServing/AnalyticsProcessing（HSAP）无事务开销（分布式锁、同步）以数仓模型（抽

3、象、复用、标准）解决数据服务的问题随机读写、读写强依赖、强事务ACID、锁、面向交易等场景高并发、低延迟、查询为主、查询简单（点查为主）、数据可更新，面向在线应用（toB、toC）大规模数据扫描、过滤、汇总，语义层，分布式，列式存储，数据更新弱，面向分析师!大数据实时数仓的发展和现状 阿里云一站式实时数仓Hologres与分析服务一体化Hologres与PostgreSQL的不解之缘归档实时写入实时写入维表关联FlinkHive离线计算离线加速联邦分析点查实时分析结果缓存RedisMysqlDrillPrestoHBaseClickhouse结果缓存归档实时写入维表关联FlinkMaxComp

4、uteHologres点查结果缓存离线加速联邦分析交互式分析从N到1，融合的、实时离线一体化全栈数仓业务敏捷响应，数据自助分析，避免数据割裂，赋能数据服务，简化运维管理一站式实时数仓：分析、服务一体化数据应用数据报告（Analytics）数据看版（Serving&Analytics）在线应用（Serving）实时数仓Hologres离线数据：批量导入（Batch）实时数据：实时更新（Streaming）统一存储统一计算HSAP：HybridServing&AnalyticalProcessingHologres=更快的多维分析+更易用的点查+云原生的运维Hologres，一站式实时数仓，提供实

5、时分析（OLAP）与在线服务（点查）两种能力，与MaxCompute无缝打通，实现一套架构，多种负载（OLAP、在线服务、MC交互式分析）共存，减少数据孤岛，避免数据割裂，简化链路，提升用户体验。统一存储一份数据支持多种负载(OLAP、在线服务、MaxCompute交互式分析)，减少数据割裂数据无孤岛，提高数据开发效率、简化链路实时离线一体高RPS 实时写入、实时更新、写入即可查与MaxCompute存储无缝打通，透明加速，无需数据移动，支持实时数据关联历史数据高性能 OLAP场景性能好于Clickhouse、Impala、Presto，支持亚秒级响应与高QPS 在线服务（点查）场景性能好于H

6、Base，点查支持100K+QPS统一接口接口兼容开源PostgreSQL协议，支持主流开发和BI工具，生态开放统一用SQL描述多种场景，提高数据应用开发效率统一数据模型Hologres：经过阿里核心场景大规模验证的一站式实时数仓支持阿里集团核心实时业务电商类：淘宝数字化大屏、AliExpress电商分析To B&to C：阿里妈妈广告、CCO智能客服物流类：菜鸟智能物流、达摩院无人车送货飞猪实时大屏、饿了么实时配送、等双11生产验证表现完美双11写入RPS峰值11亿+服务（点查）RPS：单业务峰值上亿+OLAP分析QPS：单业务峰值2000+PB级数据存储Hologres 线上应用阿里巴巴智