kubeskoop-deal-with-the-complexity-of-network-issues-and-monitoring-with-ebpf-kubeskoopdaepzhi-ebpflia-jie-zhang-xie-lin-relai-zha-yutong-li-alibaba-cloud-bingshen-wang-alibabacloud-1.pdf

1、KubeSkoop-Deal with the Complexity of Network Issues and Monitoring with eBPFYutong Li,Alibaba Cloud Bingshen Wang,Alibaba CloudAgendaK8s网络问题复杂性KubeSkoop项目介绍KubeSkoop基于eBPF的K8s网络诊断Alibaba Cloud Kubernetes服务(ACK)集群数数万单集群节点10k+地域数30+K8S网络问题复杂性网络逻辑概念复杂链路实现层次复杂K8sK8s网络逻辑概念网络逻辑概念Kubernetes中包含很多网络逻辑概念导致配置

2、复杂：Ingress/Service/NetworkPolicy 配置 LabelSelector选择到不预期的Pod 多个NetworkPolicy规则重叠 Service NAT的端口和实际端口不符合ServiceMesh 更复杂的7层网络策略第三方网络/Ingress插件 自定义的网络扩展Kubernetes服务发现-ServicePodSVCPodPodPodspec:clusterIP:192.168.14.75ports:-port:80protocol:TCPtargetPort:80selector:app:nginxmetadata:labels:app:nginxKuber

3、netes网络策略-NetworkPolicyPod数据库Pod前端Pod后端spec:podSelector:matchLabels:tier:backendingress:-from:-podSelector:matchLabels:tier:frontendspec:podSelector:matchLabels:tier:dbingress:-from:-podSelector:matchLabels:tier:backendK8S服务发现-ServiceK8s网络策略-NetworkPolicy容器网络的链路实现容器网络的链路实现数据平面复杂：数据面多层处理，ServiceMesh/

4、KubeProxy/CNI多种CNI网络实现(Overlay/Underlay)协议栈链路复杂：链路长，涉及网卡驱动/netfilter/route/bridge等配置繁琐难懂底层网络配置：每个云厂商配置不同安全组、路由表等配置复杂节点KubeletCNIPodPodCNI网络链路IaaS网络节点KubeletCNIPodPodCNI网络链路传统定位网络问题手段传统定位网络问题手段1 问题定位流程长：多处抓包-包对比分析找出丢包点-分析丢包点配置2 定位时间跨度长：穷举场景压测复现-结合网络插件原理，采集大量信息分析3 经验要求高：精通Linux协议栈&网络插件实现细节&IaaS层网络配置Cl

5、usterNodeNodePodIaaS*.pcap*.logsRuntime capturesCNICNINetstack configurationsroute/iptablesnetworkpolicessecuritygroupsrootcausePodKubeSkoop项目介绍KubeSkoop项目介绍项目介绍K8s网络问题诊断工具集连通性诊断延迟探测分布式抓包异常回溯访问流记录项目地址：https:/ 用户指定不通的来源目的，等待输出诊断的结果 自动构建网络访问链路，分析链路问题 包含Kubernetes Service、NetworkPolicy等概念分析 全面覆盖协议栈、底层I

6、aaS的连通性相关检查 无需了解网络插件实现和复杂的网络问题排查经验监控和异常回溯基于eBPF的容器网络异常监控：云原生部署，与Prometheus等可观测体系对接Pod级别的网络监控能力精简、低开销的内核异常监控覆盖多种问题场景诊断：网络偶发丢包重传诊断Flow级别异常识别网络全链路延迟分析多种类型异常透出：反映访问关系和异常趋势的Metrics记录异常现场的历史事件记录集群节点PodPodPodkernelkuberneteseBPF/procCRIKubeSkoop exporterMetricsEvent Log深度监控深度监控异常记录异常记录访问流记录历史访问关系记录和回溯记录流上连