基于云原生的作业帮大数据采集体系建设与迁移实践-伍思磊.pdf

1、基于云原生的作业帮大数据采集体系建设与迁移实践伍思磊作业帮大数据中台架构师一.背景二.作业帮数据采集体系的架构升级三.作业帮数据采集体系的迁移实践 1.数据库采集：从 Canal 到 Flink-CDC 2.日志采集：从虚拟机到容器化四.未来规划一.背景背景/关于作业帮作业帮是一家什么样的公司？背景/作业帮大数据中台全景二.作业帮数据采集体系的架构升级架构升级/大数据采集架构演进的三个阶段架构升级/采集2.0时代面临的问题痛点1:新数据源难以扩展痛点2:采集组件虚机部署人肉运维稳定性差痛点3:入仓需求定制化：表级/点位级kafka分发、实时流done标记、离线数据漂移、特殊任务调优.痛点4:M

2、R任务缺乏物理隔离各BU争抢资源数据时效性差架构升级/诊断思路与架构升级目标企业诉求业务场景需求本质架构目标支撑经营分析决策低成本数据安全工作台工作台实时/小时级数据在线系统，需求稳健迭代业务业务分析挖掘分析挖掘T+1数据深度洞察、查数广泛、需求灵活管理者驾驶舱管理者驾驶舱T+N数据、大盘趋势历史数据、可视化、需求固化企业成本管理企业成本管理审计活动审计活动/法律法律合规合规面向核心经营活动实时OLAP,小时增量切块数据系统高可用、准确业务试错、需求挖掘T+1快照,天/小时增量切块数据源多样性、SQL易编写经营决策T+1快照、数据产出稳定历史快照保留、反复分析数据复用、避免烟囱用户个人信息数据

3、脱敏 降低资源颗粒度、弹性扩缩大数据采集的架构升级/作业帮采集场景的需求本质抽象架构升级/采集架构3.0升级思路:采集链路视角架构升级/采集架构3.0升级思路:SAAS化产品视角三.作业帮数据采集体系的迁移实践数据库采集：从 Canal 到 Flink-CDC迁移实践/关于Canal1.仅支持mysql，无法扩展其他数据源2.不支持全量CDC,入仓链路割裂3.基于云下的VM部署:机器粒度HA,人工运维成本高资源利用率低，预算成本居高不下实例数(mysql集群):300+接入表数量:含分表:十万级 分表合并:万级峰值QPS:200,000+均值QPS:50,000+日增量binlog大小:10T

4、+CanalCanal是优秀的解决方案是优秀的解决方案,但仍存在痛点但仍存在痛点数据库入仓规模数据库入仓规模作业帮在采集作业帮在采集2.02.0阶段的解决方案阶段的解决方案CanalCanal +Canal-AdminCanal-Admin增量采集HA+平台化迁移实践/CDC方案调研选型CDC机制日志+查询(部分无锁)日志+查询日志+查询(有锁)日志数据源支持(仅对比作业帮需求)MySQLMongoDBPostgreSQL(Polardb-O)TiDBMySQLMongoDBPostgreSQLMySQL,MongoDB,PostgreSQL国外产品,部分数据源用不到MySQL底层机制Flin

5、k+DebeziumDebezium+KafkaDebezium自研内核同步方式增量/全量/增量+全量增量/全量/增量+全量增量/全量/增量+全量增量部署架构EMR基于作业帮Zlink平台部署SAAS单机VM+分布式产品化自建厂商平台自建Canal Admin定制化基于Flink自定制较困难基于Java自定制基于Client二开监控告警自建厂商提供自建自建SLA保证自建99.999%自建自建SQL支持支持支持否否迁移实践/Flink-CDC对各类数据源的特性支持增量快照(无锁/并发/续传)支持支持不支持不支持启动模式initital/latest/earliest/gtids/binlog f

6、ile+offset/timestampinitital/latestinitital/latestinitital/latest多库多表捕获支持支持支持支持动态加表仅支持Initial模式且会阻塞不支持不支持不支持获取binlog时间戳支持支持支持支持获取主键支持支持支持支持捕获DDL支持支持支持支持数据类型支持全部支持但个别字段不完善(如enum)部分不支持部分不支持部分不支持Flink-CDC版本:2.3.0迁移实践/CDC架构设计思路迁移实践/CDC迁移场景与挑战1.如何确保Canal和Flink-CDC的输出在量级和数据上完全相同?2.如何尽量