2019年阿里搜索监控数据平台的AIOps实践.pdf

1、全球敏捷运维峰会广州站阿里搜索监控数据平台的AIOPS实践全球敏捷运维峰会广州站Agenda1.kmonitor 概述2.数据平台设计3.AIOPS探索案例全球敏捷运维峰会广州站Why全球敏捷运维峰会广州站基于算法的发现问题诊断问题优化建议决策建议基于大数据的基于大数据的过去，现在，未来数据标准统一数据种类丰富基于管控的可重入自我保护目标目标助力运维能力升级助力管控能力升级运维数据仓库MetricEventLogAction+Diagnose+管控从手工处理到自愈诊断经验沉淀Razor+Apack算法服务框架时序数据分析反馈和自动调优算法持续迭代特点特点面向机器，面向管控监控数据平台总结监控数

2、据平台总结全球敏捷运维峰会广州站kmonitor overview全球敏捷运维峰会广州站异构数据源采集异构数据源采集日志ETL:select sum(line4)tag(cluster,line24,scene_id,line3 where line6 3 and line71!=“heart beat”)SystemLogSDKpluginsPromethusSupport OpenMetric exposition formatService Discovery(Armory,Drogo)标准，开放，共建全球敏捷运维峰会广州站时序数据库演进时序数据库演进精于聚合，弱于明细精于明细，弱于聚合

3、No Silver Bullet全球敏捷运维峰会广州站Druid的选型和优化的选型和优化Swift ExtensionSLS ExtensionHDFS Deep StorageOSS Deep StorageDruid ON YarnDruid ON Hippo(K8S)全球敏捷运维峰会广州站Druid的选型和优化的选型和优化_metrictagk1tagk2.min max avg sum count1.数据精度对应不同datasource(20s,1m,10m,60m)2.Shuffle算法平衡数据热点和查询效率3.CompositeSegment解决数据空洞，大幅解决写入查询性能1.2

4、00+Tag Group,Not Too much2.更高效解压命中相同metric数据3.persist耗时减少60%,merge耗时减少90%4.辅助结构占用内存，history lazy load全球敏捷运维峰会广州站5000w/s pointsscale outquery ms latency海量指标存储海量指标存储Gnomon（分布式（分布式Influxdb）全球敏捷运维峰会广州站高维指标聚合高维指标聚合juicer高维单指标聚合：单指标tag value的笛卡尔乘积 10wdocker.cpu.percent全球敏捷运维峰会广州站高维指标聚合高维指标聚合juicer高维多指标聚合：

5、wildcard:false:blink.*.tps.rate全球敏捷运维峰会广州站高维指标聚合高维指标聚合juicer高维指标四则运算全球敏捷运维峰会广州站高维指标聚合高维指标聚合juicer用户无感知，0配置，TSDB容灾Backend全球敏捷运维峰会广州站GroupByArithmeticstream定时batchTSDB规则报警异常检测巡检任务容量规划OPS UDFDataPointsAIOPS Serverless PlatformEventDownSampleBlink Job10w+rule1w+ruleOpenTsdb Query 统一表示AIOps平台平台Razor简化时序数

6、据使用门槛，让数据更大发挥价值全球敏捷运维峰会广州站管控平台管控平台Beacon1.租户自动新建和容量管理(写入，存储，查询，报警计算)2.慢query治理建议3.多区域多集群一键部署和稳定性管控（kmon on K8s,kmonitor operator）4.KAM巡检与自愈kuberneteskmonitoroperatorCloud Native Solution全球敏捷运维峰会广州站Why AIOPSAIOPS意义：利用算法的能力进一步提升系统效率，降低运维成本全球敏捷运维峰会广州站异常检测报警异常检测报警