得物全栈可观测平台落地实践-李尊.pdf

1、得物全栈可观测性平台落地实践得物App监控平台 李尊录得物可观测平台 演进史 全链路追踪规模落地实践得物可观测平台 演进史得物可观测平台 发展历程2021前2021年2022年2023年开源案 Loki PrometheusVictoriaMetrics Jaeger(采样率3%)组合采样策略 Grafana 产品化萌芽 应监控1.0指标中告警模版上下游分析异常分析(Java)排查具(热点分析)Redis热点分析 RDS热点分析 产品化&数据治理 架构升级&降本增效 应监控2.0(Java/Go/FE)Trace2.0(100%采样、冷热存储)前端监控(0-1、端到端)鲁班(建Dashboar

2、d)异常分析2.0(Go)Metric、Trace、Log持联动和下钻分析挑战 基础服务监控标准化(中间件/K8S)以应为中的可观测性 全息监控(服务治理)全栈可观测平台全景图NOC-SLA应监控基础服务云资源层ECSOSSNATEIP防SLBPrivatelinkC端B端供应链资损1-5-10户体验端监控接层DAL层数据库数据服务发现K8SJavaGolangNode.jsPythonC+AndroidiOS端内H5PC浏览器元数据全链路追踪(Trace)告警异常事件智能预测时序检测志聚类流量拓扑(分钟级)系统治理程序“五横三纵”链路追踪规模落地实践为什么选择OpenTelemetry 统数

3、据协议 兼容性良好（兼容主流）商中 采字节码增强分布式链路追踪Trace2.0架构 集成OpenTelemetry SDK 接层&计算层 存储层 控制平持灰度版本管理动态参数.Trace2.0提供了哪些能保存所有有价值Trace的完整链路增强各监控类型数据之间的关联字节码式、缝升级持请求出参收集持定义埋点（单号关联）持诊断具（arthas）持SpanMetric统计（分位线）热点分析（Key慢SQL）.降本增效之Trace存储发展历程ClickHousespanIndex表spanData表存储1.0冷热存储尾部采样Kafka延迟消费BloomFilter存储2.0对象存储Clickhouse

4、+OSS(索引和明细分离)块存储ZSTD压缩追加写存储3.0热数据层冷数据层存储业务频访问数据1.性能2.容量低存储业务低频访问数据1.性能低2.容量Object Storage分布式链路追踪 冷热存储 全量采集 尾部采样 Kafka延迟消费 BloomFilter编码分布式链路追踪 对象存储 写流程MemBlockSpanCompression(ZSTD)ImmutableMemBlockBlockBlockBlockBlockBlockBlockFileFileFile.FileFileFile对象存储追加写分布式链路追踪 对象存储 查询流程QueryClickhouseOSS1.trac

5、eId=xxxx备注：filename:OSS所在的件名blockOffset:block块在件的偏移量messageOffset:span在block块内偏移量2.根据TraceID查询Span都在哪些OSS件3.将Span对应的件块下载到本地性能优化ClickHouse本地表批量写TraceSegment写并发查询分布式链路现阶段实施效果 吞吐量：12M Span/秒(采样率100%)存储资源：700+TB(增数据量)（ZSTD压缩12:1）查询效率：Trace点查 P50 300ms，P90查询 800ms每百TB每天只需块 Clickhouse写：单机40w/秒总存储：热存 TTL:6

6、天4PB存储（压缩前）冷存 TTL:30天 1PB存储（压缩前）Trace存储成本同下降90%结 得物可观测性平台临的挑战和机遇 得物分布式链路追踪的落地实践 Trace成为可观测数据的链接纽带 Trace存储引擎的发展历程可观测性平台 前端监控接分析分析会话跟踪JS异常分析可观测性平台 容器监控集群总览资源池监控Node监控Pod监控控制监控插件监控可观测性平台 应监控（接分析）接分析实例分析接（服务）上下游分析接耗时分解接分析接耗时分解可观测性平台 应监控（异常分析）异常