骆原-邹振-分布式数字体验监控与测试服务建设实践.pdf

1、大规模体验测试介绍数字体验监测平台建设实践案例实践展望&规划大规模体验测试介绍1.1 用户常见体验问题用户场景：短视频为例1.拿出手机2.点击应用3.开屏广告4.Feed 流呈现5.功能体验6.退出应用体验痛点:启动时间过长网络无法加载播放卡顿首帧耗时长发热流量消耗大.1.2 数字体验测试概念和难点在此输入文案标题文案数字体验上层体验内容感官数字体验交互功能网络性能安全隐私音视频质量.难点量化敏捷迭代难采集分析定位用户环境复杂专业性1.3 产品数字体验保障体系在此输入文案标题文案 用反跟进 网络性能合码 线下走查体验测试研发质量保障集成回归灰度客户端性能音视频评测安全合规体验打分数据分析实地走

2、查准出线上1.4 产品生态数仓1.5 整体架构性能防劣化平台体验分析平台边缘设备操控平台性能诊断平台体验监测平台线下线上远程操控音视频录制应用管理调试分析MR/版本防劣化启动/首刷/卡顿/存储/流量静态:包大小/产物分析动态:Trace/磁盘/网络/音视频客户端合规分析网络性能与安全视频质量分析视频体验指标标注设备中台任务调度系统规则引擎网络质量监测流媒体/静态资源监测web/h5页面性能监测场景化体验监测慢启动/首刷音视频转码TaskWorker安装包解析系统资源分析网络加速流量分析函数Trace分析流量抓包功耗负载采集音视频采集白盒分析安全合规分布式终端专用拍摄柜弱网模拟器sim网络运营商

3、网络卡顿:Trace/Lock/GC功耗:发热/降频/电量流量:大流量IO/带宽问题AB数据聚合线程/功耗聚合Trace聚合反馈归因抓栈智能插桩时序数据AB数仓Trace库历史问题集通用埋点用户反馈应用层中台边缘应用基础实时计算端上功耗归因版本性能聚合数字体验监测服务建设实践2.1边缘设备操控平台-基础设施应用场景：用户主动使用、自动化任务调度真实设备：Android/iOS/PC等多种设备类型，主流品牌与TOP机型真实网络：主流运营商网络/sim卡网络/办公室wifi网络多地部署：核心地区覆盖专用硬件：测试机柜、互拍设备、弱网模拟器、拨测盒子、机械臂2.2边缘设备操控平台-平台能力操控：远程

4、操控能力/复杂手势操作、文件传输、应用安装等采集：声音传输、网络抓包、录屏、物理性能、日志等模拟：弱网模拟2.3 体验分析平台-背景1.拿出手机2.点击应用3.开屏广告4.Feed 流呈现5.功能体验6.退出应用2.4 体验分析平台-网络分析录屏回放网络抓包基于时间轴联动分析自动分析归因2.5 体验分析平台-隐私合规检测全面的规则库AI 能力加持工程成果发表至国际顶级安全会议BlackHat2.6 体验分析平台-视频分析视频质量对比度、亮度、图像信息熵、邻帧变化量花屏、黑白屏等异常检测2.7 性能防劣化平台-定位防劣化能力矩阵问题消费体系2.8 性能防劣化平台-架构 业务层用户体验指标全覆盖

5、物理指标采集对齐行业TOP 性能实验室挖掘多维度数据 横纵向全景式覆盖2.9 客户端工具链-Trace采集各采集方案损耗对比自研Trace工具采集方法栈信息无侵入、智能插桩、低性能损耗用于慢函数、卡顿分析等场景对应开源版BTracehttps:/ 体验分析经典案例:A产品网络优化发现问题：请求调度异常，资源未配置动态加速DNS解析时间过长大量大图片请求部分请求参数过多且重复http包体积过大优化措施：动态选路、配置兜底 IP大图片 Webp替换重复 header和 query进行 hpack 压缩大请求 BR 压缩优化成果：请求成功率提升2.2%核心请求耗时降低约20%发包大小降低53%收包大

6、小降低9%3.2 性能防劣化经典案例:A产品包大小优化检测项有效问题和预期收益改进措施&收益未压缩文件检测多个文件可以压缩或动态下发，png文件可用webp替换，png文件达x.xMB，大视频文件也可考虑动态下发webp替换png，降低 xx MB压缩视频文件，减少xxMB冗余文件检测assets和res目录下存在冗余文件，包括大量的ttf字体文件和图片资源文件删除重复字体xxxKB删除冗余图片约xxKBpng文件检测不含alpha通道的png文件，可以转成jpg格式来减少文件的大小不含alpha通道png减少xx