A2--易龙--vivo海量数据集成全链路稳定性保障实践.pdf

1、vivo海量数据集成全链路稳定性保障实践易龙vivo 互联网 大数据专家目录C O N T E N T S1.vivo海量数据集成介绍1.1 产品架构1.2 技术架构2.全链路稳定性保障实践2.1 问题和挑战2.2 整体保障方案及效果2.3 方案实践举例3、未来规划vivo海量数据集成介绍01vivo自研数据集成Bees：产品能力地图数据接入业务层产品平台层产品能力层工单系统任务管理用户维度监控告警任务治理集群管理运维维度数据对账告警可观测数据埋点SDK应用商店VPUSH外部业务推荐中台支付平台搜索数据同步传输集成构建实时离线一体化数据仓库多种同步方式：批量（离线）全量/增量；实时同步，全增量

2、一体推荐、风控、分析等实时业务调用链监控广告业务浏览器业务短视频SDK接入Agent接入DB接入多场景解决方案支撑实时客户分析及精准推荐实时营销活构建客群标签画像业务日志离线、实时采集离线异构数据源同步实时异构数据源同步业务多维数据分析数据接入一键诊断日志中心容器平台通用监控产品定位：公司海量数据场景下高效、稳定的数据传输高速公路Paimon/Kafka/Pulsar/HDFS/StarRocks/ES/Redis/多种异构数据源Kafka/Pulsar/MySQL/MongoDB/Hive/OCeanBase/HTTP接入其他接入vivo自研数据集成Bees：架构演进概览Bees数据集成架构

3、 随数据规模增长演进到3.0阶段，支撑海量数据业务发展 日志接入 离线数据同步 断点续传 配置调速2019 项目启动Bees1.0 实时数据同步 平台化操作 统一链路管控 完善监控告警 SLA业务保障 动态调速 数据审计对账2021稳定性建设Bees2.0 全域统一架构 全链路可观测 全链路容错容灾 智能运维 高速高性能 灵活部署 场景化极致体验 便捷高速入湖*万亿条/天2023功能进阶Bees3.0架构目标稳准快全数据链路架构 集群 业务 器 数据 产方 业务 器 方 集群 集群 业务 器 业务 业务 器 离线定时数据：源 支 时 分 采集，目的 支 同 入准实时数据：源 实时采集，目的 入

4、 集群 集 体 业务数据 方集群及 数据同步任务配置 集群实时 离线 实时数据 业务实时数据 离线 采集数据入湖仓数据同步数据同步入湖仓实时数据 下发采集配置集群 实时 实时数据 实时数据 实时数据 实时数据 实时数据 实时采集数据 实时数据同步离线定时数据同步 集群 集群下发 配置 实时数据同步 集群数据同步 湖仓 实时数据 实时数据 组件架构Bees监控模块监控、指标展示与告警Bees-Manager工单接入管理任务管理采集配置管理中心用户平台服务【极重要】Bees-SDK数据接入 SDK 工具包Bees-Agent源 日志接入组件部署在业务 器影响CPU、内存、文件句柄、IOBees-B

5、us数据传输管道服务【极重要】Bees-X实时数据同步服务支 binlog日志采集mongdb oplog实时采集支 其他异构数据源数据同步 用户 平台 用户接 务 全链路 模块 模块 模块 （）（业务 ）（）模块 （）（）（）（）（）集 集 集 集 集 集 数据 监控模块 监控进度监控 务 监控时效性监控数据 整性监控 用性监控 量 监控 接入 务 集 数据 全链路稳定性保障实践02问题和挑战 链路稳定性 链路数据质量 链路可观测性网络/服务 接入传输数据处理（Spark/Flink）湖仓数据上报核心问题维度 故障多被动收告警 定位恢复慢 散点式救火，运维成本高 数据产 时效性波动大 告警多

6、而杂，处理成本高痛点问题 如何从根本上长效的保障稳定性 如何从全链路视角保障数据时效性 如何有效准确的告警并快速恢复核心挑战故障根因 析7%10%11%16%20%36%0%10%20%30%40%其他关键依赖问题 bug及测试监控问题组件架构问题不规范变更历史故障数据分析：根因占比分布故障根因占比整体稳定性保障方案及效果故障 库快速恢复快速 运维工具故障 监控告警 日志中心运维 化变更 规范标准规范 测试 发质量 链路组件 存 定时治理架构组件故障模 建设故障 演 故障演 作 用性 保障 维 性保障 性 故障复 库 库 化 进 关联分析连续超600天0 故障事前事中事后链路 错建设思路SLA