吴长治--基于eBPF实现混部场景下的网络QoS管理.pdf

《吴长治--基于eBPF实现混部场景下的网络QoS管理.pdf》由会员分享，可在线阅读，更多相关《吴长治--基于eBPF实现混部场景下的网络QoS管理.pdf（11页珍藏版）》请在三个皮匠报告上搜索。

1、基于eBPF实现混部场景下的网络QoS管理第二届 eBPF开发者大会w w w.e b p f t r a v e l.c o m中 国 西 安第 二 届 e B P F 开 发 者 大 会混部场景下，业务QoS存在挑战，网络QoS是关键指标业界现状数据中心基础设施支出大，服务器占IDC成本大头服务器资源利用率低，平均在15%不同类型业务使用独立资源池(分开部署)混部目标在线业务和离线业务混合部署，降本增效混部场景（鱼和熊掌）离线业务填充在线业务波谷 利用率（鱼）在线业务抢占离线任务资源 质量保障（熊掌）在离线业务混部第 二 届 e B P F 开 发 者 大 会linux TC简介TC（tr

2、affic control）是Linux内核中的一个网络流量控制工具，它可以用来控制网络流量的带宽、延迟、丢包等参数，从而实现网络流量的优化和管理。TC的基本功能：shaping：出方向流量进行限速scheduling：对报文进行调度policing：入方向流量进行限速dropping：超过预设值的流量都会被直接丢弃（ingress/egress）TC的关键组件：qdisc 队列规则(queueing discipline)classless qdisc：pfifo|TBF|ingressclassful qdisc：HTB|prio|classes对于classful qdisc可以配置不同

3、类别，并通过优先级实现优先处理某些队列流量filters通过filter来决定流量进入到哪个队列中类别：u32|bpf|cgroup|HTBrootqdisc1：1：11：101：20F1F2defaultclass 1:1class 1:10class 1:20filterclassclasshttps:/man7.org/linux/man-pages/man8/tc.8.html第 二 届 e B P F 开 发 者 大 会带宽管理插件：配置pod annotation，并通过 TC TBF实现限速。方案原理：Pod的egress对应veth host侧的ingress，ingress无

4、法做流量整形，因此加了ifb网卡；Pod流量出来后重定向到ifb网卡，通过fib TBFqdisc实现限速；方案问题：锁竞争：TBF qdisc 所有 CPU 共享一个锁（qdiscroot lock），因此存在锁竞争；流量越大锁开销越大；缓冲区膨胀：多了一层ifb网卡排队，缓冲区增大；时延增加：原来veth pair网卡对转发，现在多了个ifb；k8s 带宽管理：基于TBF实现网络QoS限速apiVersion:v1kind:Podmetadata:name:iperf-slowannotations:kubernetes.io/ingress-bandwidth:10Mkubernetes

5、.io/egress-bandwidth:50M第 二 届 e B P F 开 发 者 大 会From Queues to Earliest Departure Time From Queues to Earliest Departure Time：https:/documents.pub/document/oct-2018-david-wetherall-presenter-nandita-dukkipati-talks2018davidwetherall.html?page=124.20:The TCP stack switched to Early Departure Time更好的CP

6、U效率&更小的队列每个skb可以设置最早离开时间(EDT)时间轮调度复杂、脆弱、级联队列维护队列的CPU开销multi-cpu间共享队列的竞争开销第 二 届 e B P F 开 发 者 大 会cilium:eBPF+EDT实现Pod出方向带宽管理cilium egress限速工作原理：Pod veth主机侧在tc ingress处挂载bpfprog，设置ctx-queue_mapping=aggregate主机网卡侧在tc egress处挂载bpf prog，根据限速配置调整 skb-tstampmq+fq按时间戳公平调度skb发包方案特点：相比tc t