分会场4_毛文安_SysOM可观测体系建设_报告PPT.pdf

1、SysOM可观测体系建设第三届 eBPF开发者大会w w w.e b p f t r a v e l.c o m中 国 西 安毛文安，深入理解eBPF与可观测性作者 龙 蜥 社 区 e B P F 技 术 S I G 负 责 人S y s O M 架 构 介 绍第三届 eBPF开发者大会w w w.e b p f t r a v e l.c o m中 国 西 安第 三 届 e B P F 开 发 者 大 会SysOM整体架构SysOM：一站式智能运维平台，中心端采用微服务的方式处理来自多个region的Profiling和监控数据；SysAK：系统工具集，处理来自中心端的请求和数据预处理，进行

2、诊断结果汇总和Profiling、监控数据上传；Coolbpf：eBPF开发框架和功能库，提供持续剖析数据采样，网络、IO、内存、调度及GPU指标等功能。第 三 届 e B P F 开 发 者 大 会Coolbpf 整体架构1、进程性能瓶颈导致业务异常2、偶发抖动，根因难以回溯3、定位周期长，业务潜在问题仍然存在4、CPU还是GPU问题难以定界5、算子夯、GPU驱动夯、NCCL夯如何检测第 三 届 e B P F 开 发 者 大 会CPU&GPU业务痛点解析C p u 的 可 观 测 体 系第三届 eBPF开发者大会w w w.e b p f t r a v e l.c o m中 国 西 安第

3、 三 届 e B P F 开 发 者 大 会CPU侧的观测能力第 三 届 e B P F 开 发 者 大 会CPU侧的持续剖析livetracelivetrace是SysOM里面进行持续剖析的主要模块，其在节点端的架构如图所示，它采用异步机制构建了一套高度模块化的插件管理框架。第 三 届 e B P F 开 发 者 大 会应用观测和全局网络拓扑第 三 届 e B P F 开 发 者 大 会热点对比和调用图谱G P U 可 观 测 体 系第三届 eBPF开发者大会w w w.e b p f t r a v e l.c o m中 国 西 安第 三 届 e B P F 开 发 者 大 会AI Infra可观测围绕可观测的四大支柱进行：监控指标：DCGM和CPU&GPU侧信息链路追踪：推理服务全链路追踪日志告警：基于xid等异常信息构建告警Profiling：uBPF等方式构建持续剖析能力第 三 届 e B P F 开 发 者 大 会函数级别的火焰图第 三 届 e B P F 开 发 者 大 会指令级别的火焰图限制：1.cupti限制：并行kernel没有correlation id，无法和cpu栈进行关联 2.cuda binary不携带文件和debug信息，无法获取源文件及偏移欢迎关注“酷玩BPF”公众号一起来探索eBPF技术第 三 届 e B P F 开 发 者 大 会