4-童琳-云网络监控和故障定界.pdf

1、云网络监控和故障定界2023 深圳站童琳深入研究网络技术领域10余年，具有丰富的互联网软件架构设计和研发经验、精通SRE流程体系。目前就职于华为云，曾主导并落地华为云网络监控和自动化体系平台，持续保障云网络的稳定可靠，当前主攻SRE运维领域智能化场景专家系统。华为云SRE高级专家、运维产品专家。嘉宾照片2023 深圳站目录CONTENTS云网络监控和定界的挑战01 业界网络监控和诊断技术洞察02 华为云网络监控技术分享03 华为云故障诊断技术分享04 未来展望05 2023 深圳站应用网络形态的多样化对监控挑战巨大云上应用多样化，对网络质量的差异性诉求不同云网络故障一旦发生影响面大，要求监控必

2、须能极快的感知故障无处不在的网络互联，需要确保监控无盲点监控应用1s、设备控制100ms，实时游戏和语音10ms网络作为连接管道，要求监控必须实时感知异常，支撑快速恢复企业-云、多云、边缘等全场景互联要求监控的全面覆盖精准快速全面2023 深圳站云网络架构的复杂度让定界难度急剧上升技术挑战：云外网络特点：运营商侧黑盒不可见，监控手段缺乏云外用户位置分布广，难以精细化定界云内网络特点：多租共享、流量流向复杂，路径长软件类型多、版本迭代更新快云上应用特点：自身定界手段缺乏，无法自证清白典型问题案例：VPC内2台VM互访时延增到XXms！某外部用户访问云上ELB应用出现丢包！DCS访问延时变大，网络

3、是否有异常！XX客户反馈部分游戏用户掉线！PC端/手机端/企业IDCLeaf路由器SpineService LeafLB硬件/软件网关Internet/DCI/专线VPC1VPC1VPC2VPC1Vrouter、NAT、EPFWServer2023 深圳站目录CONTENTS云网络监控和定界的挑战01 业界网络监控和诊断技术洞察02 华为云网络监控技术分享03 华为云故障诊断技术分享04 未来展望05 2023 深圳站业界经典网络监控和诊断技术介绍流量镜像主动采集、周期性轮询为主，涵盖物理网元、虚拟化网元、集群和实例指标等；基于交换机软件会话流统计，用于流量成分分析场景，例如TOPN大象流/计

4、费等；NetpoirotTrumpet主机流分析基于主机TCP流特征分析，通过注入故障结合机器学习形成故障模型基线；基于主机的可灵活编程的流事件监测平台，每台主机需要占用一个核；全流分析FET利用交换机可编程芯片的强大计算能力，对网络全流进行异常检测，例如FET；vTrace基于OVS带内测量，对于丢包场景能快速分析全链路中问题节点及其根因；经典方法日志监控用于提前发现已知的设备硬件、软件、协议故障，以及公共DNS、APIG等日志指标；指标采集sflowNetstream基于交换机专有硬件芯片进行包采样统计，消除了物理设备CPU和内存的负担；主动拨测Pingmesh广域网拨测Netbounce

5、r主动拨测来覆盖DCN网络链路，利用拓扑关系来生成覆盖策略并辅助定界；例如博睿/听云，通过大量全球分布探针来进行拨测点覆盖，支持多种客户端类型；使用IP-in-IP指定路径进行黑盒拨测，能实现精确路径级监控；混合测量无法感知时延白盒存在监控盲点部署策略复杂额外流量开销难以定位故障采样无法捕获瞬时事件仅能发现TCP通讯异常对网元能力要求较高性能开销非常高需要硬件支持EverFlow通过镜像TCP控制报文、dscp抽样染色报文来实现网网络监控和诊断；不足2023 深圳站数据中心pingmesh黑盒监控 总体方案：通过TCP/Http模拟报文整网检测-整网时延和丢包分析；分层探测减少任务规模；关键技

6、术：“差异化PingList确定”、“pingmesh性能损耗控制”“TCP/Http模拟报文替代Ping报文”、“利用SYN/ACK时延推导丢包率”竞争力：支持数据中心的自证清白和一定的网络问题定界（无法确定具体是哪一跳出现问题）Agent安全原则：内存超出停止；探测频率硬编码控制；agent心跳失联停止；上报重试多次后丢弃结果；详细延时数据落地本地日志；探测规模：每天产生2000亿次探测、24TB的数据；2023 深圳站主机流异常检测Netpoirot不同类型故障对于TCP协议的行为有不一样的表现TCP协议行为相关性指标故障行为训练故障注入12345故障模式学习Agent5推断故障类型VM