刘一鸣-Flink + Hologres 云原生实时数仓最佳实践_compressed.pdf

1、Flink + Hologres：云原生实时数仓最佳实践 刘一鸣 2020-11-1 开源大数据实时数据处理体系 Kafka Flink 订阅 Subscription 批量归档 Archiving 实时导入 Realtime Ingestion 维表关联 Dim Table Join 离线加速 Batch Acceleration 联邦计算 Federated Analytics 点查询 Point Lookups 实时计算 Realtime Analytics API Applications Reports Dashboards Redis Mysql Drill Presto HBas

2、e Cassandra Druid ClickHouse Hive 结果缓存 Result Caching 批处理 Batch Processing 实时导入 Realtime Ingestion 架构复杂、资源消耗大、数据孤岛、人才培养难、开发成本高、不敏捷 实时数仓Lambda架构 数据源 离线数仓 实时数仓 ODSDWDDWSADS ADS T+1 T+0 服务平台 数据周期性更新，面向复用 数据实时更新，面向应用 Cache 高QPS 联邦能力 数据应用 Batch View Real-Time View 实时离线一体化？分析服务一体化？ 如何选型数仓架构 实时写入、实 时计算 实时离

3、线数据 一致性 业务与技术解耦体系化、可复用 Serving Analytics Transaction 有银弹吗？ Hybrid Transaction/Analytics Processing（HTAP） 数据来源于业务系统（TP） 需要事务机制保证ACID 需要保证TP和AP的一致性（数据、模 型，大量同步） 适合模型简单，简单分析场景 Hybrid Serving/Analytics Processing（HSAP） 统一实时、离线存储引擎 无事务开销（锁、同步） 埋点数据、机器数据，比TP高数量 级，高吞吐写入 为多场景设计可复用数仓 随机读写、事务、可靠，面向DBA高并发、简单、快速，面向在线应用 大规模数据扫描、过滤、汇总，面向分析师 新一代技术理念HSAP：分析、服务一体化 数据应用 数据报告（Analytics）数据看版（S&A）在线应用（Serving） HSAP 离线