A1--戴杰超 王豪杰--全链路直播质量保障：从端到端稳定性到基于AI的音视频保障.pdf

1、王豪杰哔哩哔哩流媒体质量部资深测试开发工程师戴杰超哔哩哔哩直播质量部资深测试开发工程师目录CONTENTS直播背景介绍0102全景图全链路稳定性保障03音视频质量保障04PART 01直播背景介绍行业背景：直播行业的演变探索期（2010-2015）秀场直播兴起，如9158秀场直播。月活超百万。游戏直播发展，如斗鱼游戏直播。月活超500万。推流技术突破，RTMP协议广泛应用成长期（2016-2019）4G普及催生移动直播，如抖音移动直播。日活超5000万。短视频平台入局，如快手短视频直播。日活超1亿。直播技术不断优化，如虎牙直播技术升级。画质提升2倍。爆发期（2020至今）疫情加速线上化，如腾讯

2、会议直播。日活超1亿。AI虚拟主播渗透率超15%，如B站虚拟主播。月活超500万。直播技术不断创新，如5G直播技术应用。画质提升4倍。010302行业背景：直播业务特点011.弹幕功能让观众实时反馈，主播即时回应，增强参与感2.用户间讨论形成社区，扩大影响力3.直播间直接下单，简化购物流程0203强互动性真实与实时多场景渗透1.原生内容，主播真实形象吸引观众，建立信任2.秒级延时，用户与主播零距离沟通1.娱乐场景，游戏，聊天室，娱乐等直播场景2.电商场景，电商直播满足购物需求，直接直播间内下单3.教育场景，教育直播突破时空限制，推动教育公平PART 02全景图全景图-直播全场景流程图全景图-稳

3、定性隐患1.从开播到用户观看，整个链路较长，且依赖关系复杂2.链路较多，有http，grpc接口为主的控制链路，websocket的广播通知链路，还有srt/http-hls等音视频传输链路3.数据来源多，存在多种向平台推流的情况链路链路复杂复杂1.直播数据实时传输，开播到观看中间任一点问题都可能造成用户卡顿，黑屏，花屏等问题2.音视频功能对性能损耗会更高，若不控制会导致用户体验受损用户高用户高敏感敏感全景图-测试能力图谱PART 03全链路稳定性保障直播特性-链路复杂特性汇总稳定性建设拉流数据性能异常持续性&稳定性典型问题建设方向接口依赖故障演练异常推流构造机房网络演练状态机故障演练端性能自

4、动化测试观看直播频繁出现卡顿，缓冲pk结束因为服务端网络波动导致主播状态异常，无法再次pk更新版本后出现开播发热，卡顿机房网络波动、异常推流、网络攻击导致收到异常流全链路稳定性保障-故障演练grpchttpmysqlredismemcachedatabus报错超时httpcpumemnetdisk不足服务端客户端容器依赖治理降级策略兜底sopstream全链路稳定性保障-故障演练场景录入接口管理单接口依赖管理场景依赖管理依赖预期故障演练改进实施全链路稳定性保障-视频云稳定性视频云服务-状态机强依赖改造状态机主要记录直播系统中直播流的各类基础属性数据和直播间到流的映射关系数据，是整个直播体系能够

5、实现运行起来的基础数据依赖。简单概括：一个直播流在哪里生产以及流的状态详情。不稳定性来源：实时性高单一存储不稳定底层双读双写改造上游强依赖改造故障演练效果：强依赖链路的最小化双读双写的可用性在最极端情况下，仍保障重点房间可播放直播业务入口PU视频云服务流状态服务开播关播鉴权全链路稳定性保障测试-视频云稳定性边缘计算故障演练视频云边缘计算：数量：500多个上行边缘源站、2000多个下行边缘CDN分布：部署在多个城市和地区的机房属性：设备和网络种类繁多，受到各种外部环境的影响，日常存在不稳定性故障类型一-设备类故障CPU使用率异常内存使用率异常磁盘空间不足容器内进程关闭带宽异常sysload（负载

6、高的场景）故障类型二-网络类故障上行推流端口异常上行推流网络丢包、延迟、乱序、包损坏等转推网络异常回源端口异常回源网络丢包、延迟、乱序、包损坏等向中心上报接口网络异常开播回调鉴权网络异常中心查询接口网络异常演练成果边缘故障及时感知和slo告警故障节点自动下线端到端功能流程中，业务遇到故障节点，能及时切换全链路稳定性保障测试-异常流测试排查典型问题典型问题机房网络波动、异常推流、网络攻击等引起流媒体服务接收到预期外的异常数据，引起服务波动。dump数据异常流的发现和复现保障自研编码程序-异常构造底层实现rtmppush、bmtpush等推流能力1:1复刻线上异常历史case保障公司自研媒体服务迭