肖潇《边缘容器在全球音视频场景的探索与实践》.pdf

1、边缘容器在全球音视频场景的探索与实践肖潇 即构科技后台技术总监212100+300亿+30亿+国家地区覆盖行业解决方案覆盖年全球服务人次日通话分钟数全球实时音视频云服务商全球实时音视频云服务商ZEGO即构科技成立于2015年，是一家全球实时音视频云服务商。团队拥有20年行业技术经验积累，全链路自研音视频引擎与实时网络，首创直播连麦。ZEGO 服务全球，已为 212 个国家/地区提供一站式音视频云服务。服务覆盖至互动直播、在线教育、政企服务、社交娱乐、视频会议、游戏、金融、远程医疗、智能硬件等数百个应用场景。即构全球基础设施即构全球基础设施1.全球500+网络节点2.覆盖全球212个国家和地区3

2、.全球节点99.9%的优质传输率贴近用户，连通全球贴近用户，连通全球边缘计算：边缘计算：低时延、高带宽、高并发边缘计算的优势边缘计算的优势降低时延降低时延就近接入就近分发减少传输链路成本优化成本优化低成本的边缘带宽降低中心带宽提升并发提升并发多云多机房分布式部署按需扩容降低故障影响降低故障影响逻辑边缘下沉减少对中心机房的依赖边缘计算遇到的问题落地边缘容器面临的挑战实时互动业务的落地实践未来规划和技术展望边缘计算遇到的问题成本压力运维效率运维设施割裂 算力碎片化 不同集群边缘算力不能复用边缘工作负载：虚拟机和物理机边缘工作负载：虚拟机和物理机 基于告警事件来触发扩缩容 要关注服务实例和资源的扩缩

3、 控制面服务已经容器化，在边缘践行云原生极致的成本优化大幅提升运维效率边缘云原生 最大化利用算力和带宽 底层计算资源复用希望的工作负载：云原生的边缘容器希望的工作负载：云原生的边缘容器 弹性扩缩容、定时扩缩容 业务灵活的版本管理 构建云边一体化的云原生基础设施落地边缘容器面临的挑战没有统一的边缘容器标准没有统一的边缘容器标准各自开源各自开源了边缘计了边缘计算云原生项目算云原生项目 华为KubeEdge 阿里的OpenYurt 腾讯的SuperEdge相同的产品关键字产品关键字 云边协同 边缘自治 单元化部署KubeEdgeSuperEdge遇到的挑战遇到的挑战音视频业务是强有状态服务，如何云原

4、生化不同服务规格差异较大，如何调度如何做到pod多进程的灰度发布镜像如何快速分发、预热云边网络中断业务如何处理？云边通信流量成本如何提升运维效率实时互动业务的落地实践云边协同的全球音视频云架构云边协同的全球音视频云架构 多云基础设施 边缘容器 全球多中心 MSDN 全球传输网络1 成本优化成本优化 质量和运维效率提升 音视频服务云原生化23边缘资源的最大化共享边缘资源的最大化共享提升资源在池内的共享复用水平提升资源在池内的共享复用水平 不同业务集群资源的共享 不同业务角色资源的共享全局多级资源池调度全局多级资源池调度 多个资源池全局资源的复用 任意区域 N-2机房资源的冗余资源调度策略资源调度

5、策略目的：降低边缘node上的资源碎片 优先将Pod调度到资源消耗较多的节点 多个Pod会优先使用同一节点BinpackBinpack调度策略调度策略大幅降低云边通信流量大幅降低云边通信流量 避免使用Service和Endpointslices，大幅降低云边的数据通信量 边缘node的kubelet、Daemonset pod只List-Watch本节点数据 以Openyurt为例，通过Pool-Coordinator和Yurthub 的协同，实现单一节点池内云边只有一份pool scope data数据通信。云边断网 vs 部分节点失联1 成本优化 质量和运维效率提升 音视频服务云原生化音视

6、频服务云原生化23音视频服务是强有状态业务音视频服务是强有状态业务 网络模型：IP端口固定的无损直连 原地升级：镜像更新，pod不重建 镜像拉取耗时：容器更新，极短的推拉流中断 水平伸缩：各种自定义业务指标触发扩容，缩容有等待期、定向缩容 多进程协同：音视频引擎进程+业务处理进程，pod内多进程做到独立发布 定向运维操作的需求：赶流合服主机网络减少网络损耗主机网络减少网络损耗 主机网络host Network，无需经过额外的网络虚拟化层 Daemonset来分配pod端口，避免端口冲突实时互动场景对网络延时实时互动场景对网络延时/性能损耗敏感性能损耗敏感