【蔡建宇】字节跳动 Model-Driven 思路在可观测性系统中的设计和实践.pdf

1、字字节节跳跳动动MMo od de el l-D Dr ri iv ve en n思思路路在在可可观观测测系系统统中中的的设设计计和和实实践践蔡蔡建建宇宇字节跳动基础架构研发工程师字节跳动基础架构研发工程师蔡蔡建建宇宇contents字字节节内内的的服服务务端端可可观观测测系系统统存存在在的的问问题题和和挑挑战战01总总结结和和展展望望04MMo od de el l-D Dr ri iv ve en n思思路路在在可可观观测测系系统统的的实实践践过过程程(观观测测对对象象，指指标标建建模模，S SL LI I，排排障障归归因因)03MMo od de el l-D Dr ri iv ve e

2、n n思思路路介介绍绍字字节节内内的的服服务务端端可可观观测测系系统统存存在在的的问问题题和和挑挑战战微微服服务务部部署署、拓拓扑扑复复杂杂导导致致排排障障困困难难某个入口服务发现异常，可能是下游七八跳的底层服务导致容器，物理机，网络，中间件，存储组件等等同样容易引发应用的问题，不确定会影响哪些业务大服务可用性，延时（P99）异常时，难定位到具体某个请求字字节节内内的的服服务务端端可可观观测测系系统统存存在在的的问问题题和和挑挑战战缺缺乏乏标标准准和和最最佳佳实实践践引引导导用户最关心的SLI告警/大盘，常常是自建的自定义告警/自定义Grafana大盘，缺乏标准化和关联缺乏至上而下的各个业务方

3、的统一的业务监控，和异常发现-根因定位-事故处理-问题归档的最佳实践引导业务关键指标GrafanaArgos自定义告警自建监控看板缺缺少少关关联联缺缺少少业业务务S SL LI I微服务指标Argos 微服务告警各组件指标Argos 监控大盘字字节节内内的的服服务务端端可可观观测测系系统统存存在在的的问问题题和和挑挑战战可可观观测测平平台台内内部部相相对对复复杂杂对元数据严重依赖，但元数据分散在各个平台中，一个新机房部署，往往要关注下游几十个依赖监控数据是各个组件方生产的，标准存在不统一的现象开放能力，可扩展性相对弱服务端可观测平台（Argos）trace动态元信息消息队列元信息cache元信

4、息DB元信息LB元信息物理机/容器元信息部署平台信息微服务元信息mqredis、mysql.LB、agw、mesh微服务框架部署平台tracelogmetrics事件元数据消费监控数据生产监控数据平平台台依依赖赖解解决决问问题题的的思思路路-抽抽象象模模型型trace动态元信息消息队列元信息cache元信息DB元信息LB元信息物理机/容器元信息部署平台信息微服务元信息redis、mysql.LB、agw、mesh微服务框架部署平台metricslogtrace事件可观测对象标准化观测数据SLI/业务监控metricslogtrace事件业务服务MMo od de el ls 解解决决问问题题的

5、的思思路路-用用户户故故事事识别观测对象Argos标准指标合集内置SLISLO报警内置根因分析自定义SLISLO报警内置根因分析+业务补充分析APM dashboard用户SLI 如如何何实实施施MMo od de el l-D Dr ri iv ve en n设设计计要要点点可观测对象列列举举模模型型观测指标模模型型也也可可表表示示系系统统的的配配置置和和管管理理过过程程监控大盘配置为某个服务树节点注入某个类型的告警描描述述 想想要要的的规规格格（s sp pe ec c）而而不不是是 怎怎么么实实现现metadata:name:服务成功QPSspec:when:protocol:http

6、metrics:bytedtrace.sdk.span.server.rate MMo od de el l-D Dr ri iv ve en n思思路路的的实实践践过过程程作为一个可观测系统，应该先确定要观测的对象是什么实实践践过过程程-可可观观测测对对象象业业务务容容器器和和平平台台基基础础设设施施服服务务物理服务器虚拟机存储设备网络设备容器实例容器镜像服务发现负载均衡业务场景/用户关键旅程业务线APP数据库消息队列API网关微服务缓存监控和报警服务实实践践过过程程-可可观观测测对对象象apiVersion:v1kind:ObservableObjectmetadata:name:serv