06 陈佑雄-eBay网络云原生实践-2021中国网络开源技术生态峰会（16页）.pdf

1、eBay网络云原生实践陈佑雄、eBay上海、PaaS&Network SIG议程数据边缘流量管理 基于硬件负载均衡 基于IPVS和Contour的云原生实践数据中心流量管理 基于硬件负载均衡 基于IPVS和Istio的云原生实践网络云原生的挑战未来展望数据边缘流量管理-基于硬件负载均衡 外网流量经硬件负载均衡设备进入数据中心 接入点VIP数量少 L7规则多，近4000条L7规则 流量大，手机端应用日访问量达45亿次边缘节点特征 接入点节点数量有限 配置不够灵活 不支持弹性扩容边缘节点存在的问题云原生(Cloud-Native)网络为了支撑eBay不断增长的业务，需要构建高效可靠的云原生网络前端

2、和边缘计算平台，云原生网络需要满足以下几点：全球分布(Globally distributed)地理分布在全球各地，边缘节点（POP)最接近我们的客户可扩展(Extensible)从运维的角度看易扩展，便于流量迁移和管理可伸缩(Elastic)根据流量模式按需扩展以有效处理负载高安全性(Secure)抵御已知的网络安全威胁硬件负载均衡遇到的挑战硬件负载均衡器具有较高的运行和配置成本 不易扩展，购物季流量过高需频繁迁移VIP，无法横向扩展 无法提供高可用性，其对故障域处理是的1+1而非N+1 依赖第三方供应商来提供核心前端流量管理功能eBay的应用基于微服务架构 微服务的体系结构导致负载均衡器数

3、量的增加 超过3,000个公网VIP边缘节点全球分布数量有限 eBay用户在美国以外的地区也有很高的流量，但边缘节点少 硬件负载均衡PoP配置需要消耗较多的人工，时间和成本边缘节点拓扑架构 TLS终结 TCP连接调优 顶层轻量化 安全控制 缓存 公网VIP启用Anycast前端代理 L7规则配置 流量管理 授权/认证/限速 替换Web层硬件负载均衡网关基于IPVS和Contour的边缘网关 自定义的一致性哈希kernel模块作为IPVS调度器 基于k8s的控制面，k8s原生部署 可水平扩展 支持DSR BGP宣告VIP网段L4基于IPVS Contour管理边缘节点网关L7规则 证书自动化 L

4、7规则从HLB全量迁移 不同domain配置专有L7集群L7基于Contour基于Contour的L7负载均衡负责TLS终结接收来自L4集群请求集成eBay CA，证书生成自动化Contour作为边缘网关L7控制面负责南北向流量上游集群配置在硬件负载均衡硬件负载均衡负责上游集群健康检查负责eBay公网流量边缘网关流量管理L7统一管理终端 多种发布策略 定义发布和回滚工作流程统一管理软硬件负载均衡 Helm自动化部署L4/L7集群 自动化创建VIP 自动化生成证书 自动化初始L7规则软件负载均衡管理数据中心流量管理-基于硬件负载均衡 VIP数量众多 同时具有公网和内网VIP VIP上配置有少量L

5、7规则 生产应用跨三数据中心部署数据中心控制面特征 服务间调用以南北流量为主 99%请求转入本地数据中心 1%请求跨数据中心数据中心流量特征基于IPVS和Istio的云原生实践不同应用配置独立网关VIP为实现数据面和控制面隔离，不同环境配置专有L4集群四层网关调度配置基于IPIP协议规则基于BGP VIP子网路由宣告配置IngressGateway Tunnel设备支持DSRL4基于IPVS管理应用L7规则自动化生成eBay证书网格内部请求mTLS不同环境配置专有L7集群L7基于Istio单集群部署 LnP/Feature测试环境 全链路加密(E2E TLS)应用场景 L4基于IPVS L7基

6、于Istio 不同环境配置专有L4/L7集群软件负载均衡 IngressGateway单向TLS 网格内部请求mTLS全链路加密集成软件防火墙高可用接入方案 L4 IPVS 为流量入口 集群本地流量经一层LB，远端流量经两层LB 同数据中心流量权重99%，跨数据中心流量权重1%集群内部L7规则跨数据中心流量通过APP VIP 应用数据面为网关Envoy到Sidecar Envoy流量管理 Istio 网关宕机通过GTM切换流量到远端 本地集群应用宕机流量自动切换到远端故障容灾