2019年运维数据平台技术实现.pdf

1、G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站运维数据平台的技术实现G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站目录运维数据平台整体架构1运维数据平台功能介绍2基于运维数据平台的应用3G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站运维与大数据运维开发(SQL+脚本）实时监控告警快速获取数据数据无损、血缘多种多样数据源大数据开发(Java，Scala)流式计算数据服务（API，SDK）采集+存储数据管理+G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站

2、运维数据平台5 中间服务层全链路数据资产管理（元数据管理、数据质量、数据标准、数据安全）计算引擎数据采集GSE DataServer异构存储MySQLESRedisTSDBTDWHDFSTPG私有云公有云混合云TDM Server数据源机器学习GCloud SDK场景应用日志检索监控告警安全应用营收预测日志数据集指标数据集安全数据集营收数据集数据集成自助数据接入与同步数据总线（清洗、共享）数据开发全链路数据开发IDEFaaS|WorkFlow数据查询统一查询引擎|交互式异构存储管理数据挖掘流程化数据建模工具样本管理&标记工具全域数据集市.TDBankTDW-SparkTeslaG O P S

3、全 球 运 维 大 会 2 0 1 9 上 海 站一站式运维大数据服务集成多类数据源 跨云数据采集|兼容各类异构数据源|自助化接入|实时ETL|开放式采集框架数据集成数据开发数据查询统一分析一站式、低门槛开发 屏蔽多种计算引擎|拖拽式数据流开发IDE|统一 SQL|UDF|用户组件注册统一的多样化数据查询 异构存储体系|统一查询SQL|OLAP+OLTP+全文检索全流程、可视化数据建模 兼容多种开源BI|BI与AI融合|运维场景化机器学习|可视化样本标记数据管理全链路数据跟踪管理 全链路数据质量监控|完整的数据血缘&审计|标准化数据服务|全域数据集市 G O P S 全 球 运 维 大 会 2

4、 0 1 9 上 海 站目录运维数据平台整体架构1运维数据平台功能介绍2基于运维数据平台的应用3G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站运维数据平台功能数据集成01G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站数据集成接入G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站数据集成清洗G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站数据集成入库G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站数据集成架构数据接入层基础性能数据库静态数据日志文件HTTP自定义TDW.数据总线（DataBus）Inner

5、HDFSConnector ESConnector JDBCConnector OtherConnector 数据分发Kafka数据过滤数据扩展 数据切分数据格式化 实时ETL存储集群 1 存储集群N 蓝鲸其他平台配置平台作业平台标准运维PaaS平台GSE数据管道数据开发（DataFlow）实时计算离线计算IGFSG O P S 全 球 运 维 大 会 2 0 1 9 上 海 站数据集成传输云区域 BAgentproxyAgentAgentTaskServersFileServersDataServers云区域 CproxyproxyAgentAgentAgentAgentAgent接入对象主

6、要为服务端数据接入原则不入侵业务架构接入方式agent采集、远程拉取、远程推送接入类型日志、数据库、基础性能、TLOG、TQOS 开源组件和系统Metric指标（Redis、Apache、MySQL等）、HTTP、灯塔、TDW、TGLOG GSE 数 据 管 道G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站数据集成采集MetricbeatLibbeatPacketbeatFilebeatBaseportbeatLogbeatcAdvisorbeatProcesserbeatBeats采集器公共库Beats自带采集器平台提供采集器ExporterbeatDatadogbeat