京东-白冰-白泽--京东BDP的全域监控管控系统.pdf

1、主办方： 白泽 京东BDP的全域监控管控系统 白冰 京东 资深研发工程师 主办方主办方： 白冰 资深研发工程师 “ 2015年入职京东，担任数据中台计 算引擎研发工程师。在大数据平台领域有 丰富的经验，曾主导了分布式计算引擎 (JDHive, JDSpark, JDPresto)、统一 元数据服务(JDMetaService)的架构设计 与研发。 目前任白泽系统架构师，提出了BDP 全域监控+管控的理念与目标: 打通各组件 的监控壁垒，让监控系统也能千人前面。 此外，白泽致力于让系统的数据反哺 到系统，让平台的能力回馈至平台。给超 大规模数据平台装上眼睛的同时，也给其 配上大脑。 ” 个人与议

2、题简介 白泽 上古神兽 寓意逢凶化吉 主办方主办方： 案例背景案例背景 主办方主办方： 大数据平台面临的挑战 京东大数据平台在数据量、计算量、集群规模、应用场景等方面连年快速增长，系统中原本微小的不稳 定因素如: 硬件突发问题，用户不规范操作，软件特定场景下的隐藏bug等都会时刻影响整个平台的可靠 性。 与此同时，大数据平台发生问题产生的结果往往是连锁式的，如何构建关系链，快速且精准定位问题根 源？ 是否能够预测将要发生问题，防患于未然？ 如何给数据平台加上大脑，让超大规模集群变的灵活、智能起来？ 主办方主办方： 业界的解决办法是？业界的解决办法是？ 服务自带管理页面分布式监控系统 TICK

3、主办方主办方： 超大规模超大规模数据平台需要的更多数据平台需要的更多 作业管理！作业管理！ 集群管控！集群管控！ 预测自愈！预测自愈！ 全域融合 实时分析 多维关联 自动升级 关系链 聚类降噪 规则动态修改 调度赋能 计算赋能 自愈 熔断 全(半)自动管控 事前能防！事前能防！ 事中能控！事中能控！ 事后能补！事后能补！ 主办方主办方： 白泽系统在BDP中的定 位 主办方主办方： 白泽系统在BDP中的定位 System/Mem/Disk/NetWork HDFS/Kafka/HbaseYarn/Kubernetes 元数据 服务 IDE/Buffalo/EasyBI/Xingtu/Aurora 权限 管理 JRCMapReduceOLAP 。 Clickhous e Flink StormPig Hive Kylin Tensorflo w Spark Presto 服务治理 作业管控 队