A4--孙暕晖,侯欢--追求极致——揭秘微信视频号音视频质量保证.pdf

1、追求极致揭秘微信视频号音视频质量保证孙暕晖、侯欢侯欢腾讯微信测试开发工程师21年毕业于西安电子科技大学，加入腾讯微信。目前主要负责微信视频号业务（短视频、直播）音视频质量测试。研发音视频检测算法和测试工具；制定系统测试方案，挖掘异常音视频问题。为业务提供优化方向，维护视频号业务良好生态。目录01CONTENTS问题分析与方案拆解0203音视频专项测试体系概述视频专项测试的三大工具利器04业务融合与展望音视频专项测试体系建设摄像头采集生产阶段转码传输阶段消费阶段直播推流媒体生产阶段转码/混画/超分/插帧多源竞速/网络相关策略编码/封装抖动缓冲/后处理端渲染解码/解封装视频流类业务通用流程？：生产

2、、传输、消费音视频专项测试体系建设直播业务各阶段专项测试直播业务各阶段专项测试短视频业务各阶段专项测试问题分析与方案拆解02音视频专项测试体系概述视频专项测试的三大工具利器业务融合问题分析与方案拆解传输和播放不够及时、流畅的进行用户体验痛点实时性视频会议延时在100毫秒以内；直播、游戏延时在1秒以内；短视频延时在5秒以内点击视频后，视频首帧是否在极短的时间展示出来首帧秒开用户体验和用户留存率非常重要。首帧秒开的标准至少1秒内视频播放过程出现卡顿、停顿或者画面不流畅卡顿率大卡 中卡 小卡视频处理带来画质变化清晰度影响视频的清晰度、色彩、对比度等指标，严重时可能出现花屏、绿屏、马赛克视频播放过程，

3、视频画面和音频声音能否同步音画同步音画同步的标准是-200ms-200ms流畅度清晰度即时性问题分析与方案拆解流畅度清晰度即时性图像识别方法物理标签方法清晰度理解方法质量评价指标三大工具利器n 用户体验问题分析n 这些抽象问题在业内通用的音视频的评价指标是：即时性、流畅度和清晰度。n 为测试即时性、流畅度和清晰度，我们提出三大利器：图像识别方法、物理标签方法、清晰度理解方法问题分析与方案拆解03音视频专项测试体系概述视频专项测试的三大工具利器业务融合图像识别方法统一滑动视频速度分离视频流区分直播、短视频推荐流同时有直播流、短视频流直播个数秒开统计方法视频秒开计算音频秒开计算拆分每个视频流音画同

4、步分析 即时性-视频流秒开专项实践面临问题与解决方案1移动物体检测根据滑动标志位分离视频流OCR识别直播间/短视频区分视频秒开计算音频秒开计算音画同步n 准确度高线上一致n 无侵入模拟用户体验n 通用适应不同APP基于滑动物体检测和OCR识别的秒开测试 图像识别方法 即时性-视频流秒开专项实践23456整体框架图像识别方法 即时性-视频流秒开专项实践方案详述n 根据采集的推荐流视频计算推荐流中直播的平均起播耗时。n 首先根据滑动时字体图标移动进行移动物体检测划分推荐流片段；n 然后基于Tesseract OCR识别检测直播间片段。对视频分帧，计算直播间视频秒开；n 同时对音频分帧，根据滑动首帧

5、和音频语音能量检测直播间音频秒开；n 最后，统计推荐流全部直播间的视频和音频平均秒开等信息；n 此外，也可以分析直播秒开音画同步结论。秒开法流程音画同步分析音视频秒开分析图像识别方法 即时性-视频流秒开专项实践业务效果滑动物体检测和OCR识别视频示例图像识别方法 流畅度-视频流卡顿检测专项实践基于音频的卡顿检测方法传统方案检测图像相似性。直方图相似检测、SSIM等在短视频场景准确度不高，阈值不好确定方案优点无侵入、通用性强、适用不同短视频平台。简单基于音频检测方案卡顿时表现是完全没有音频且图像帧静止同时有转菊花等标识。1、音频检测连续大于1秒静音的片段。2、卡顿片段二次标注方案缺点适合音视频同

6、步卡的场景；不适合滑动时间间隔不等的场景；存在对无声视频误判问题精确率：98.96%，召回率：98.97%图像识别方法 流畅度-视频流卡顿检测专项实践n 根据采集的推荐流视频计算卡顿信息。n 首先基于音频检测连续无声超过1s的片段n 基于音频检测的方案主要是检测无声时长n 然后对这些片段基于图像二次检测卡顿n 图像检测部分首先基于移动物体检测到滑动动作，分离不同的视频流片段n 然后检测每个feed的类型（直播或者短视频）n 最后对每个feed片段计算帧差判断片段是否卡顿。视频卡顿检测法流程基于音视频的卡顿检测方法我们为什么要评估视频质量？清晰度用户体验 观点：提升用户满意度 概括：高质量的视频