7-第四范式-微服务平台中业务服务的全栈监控-余超.pdf

1、微服务平台中业务服务的全栈监控 余 超 第四范式高级测试专家 微服务给监控带来的挑战 基础资源的监控需求与实践 中间层软件的监控需求与实践 业务服务监控的需求和难点(metrics) 业务服务监控、报警方案 业务服务获取日志（logging）的痛点及改进 业务服务获取完整调用链路的需求及实现（Tracing） Content 微服务给监控带来的挑战 微服务平台产品使用三种监控模式进行全栈监控 应用层服务监控 日 志 收 集 基础资源监控 中间层软件监控 图表显示 数据存储 数据分析 prome theus ELK Jaeger Metrics Logging Tracing 应用服务 访问请求

2、 应用服务 性能监控 mysqldockerELKetcd CPU内存网络磁盘 基础资源的监控需要解决的常见问题 1 cpu占用过大 机器宕机或后台 进程运行异常 内存占用过大 宕机或后台服 务报系统OOM 错误 磁盘占用过大 系统盘占 满导致微 服务运行 异常 流量消耗过大 服务请求失败 或延迟过大 僵尸进程多 。 2 5 3 4 基础资源的监控报警解决方案 Node-export Node-export node-exportprometheus Alert- manager APIs cli输入rule pull push node_cpu 100000 node_memo ry_Mem

3、Free XXX node_mem ory_MemFr eeXXX 邮件 短信 webkook 将alertrule更 新configmap 中间层软件的监控需要解决的常见问题 数据库服务 服务down， 连接数过大 etcd服务 etcd服务 nothealth ELK服务 服务状态 red，存在 未分片 shards数 k8s服务 K8s-api, scheduler等 服务 down 。 1 2 3 4 中间层软件的监控报警方案 mysql servicemysql-export 收集metics 信息 prometheus ElasticSearchElastic-export Alert- manager kubelet cAdvisor Docker Engine container container container collect container metrics 邮