3-大模型画质评测方案VQA-GPT_黄飞(飞乌)-0719.pdf

1、大模型画质评测方案 VQA-GPT厂商黄飞支付宝 终端技术部&多媒体及算法质量：画质评测专家腾讯视频质量专项评估快手画质效能测试开发计算机视觉方向研究生毕业，多年视频质量专项测试开发经验及算法画质评测经验个人博客：https:/厂商目录1 画质评测简介2 业界无参考视频画质评测方案分析3VQA-GPT 大模型无参画质评测实践4 展望厂商1 画质评测简介厂商主客观画质评测 曝光程度：曝光程度：0.750.75模糊程度：模糊程度：0.430.43饱和度：饱和度：0.360.36美学分数：美学分数：0.290.29码率：码率：1.95Mb/s1.95Mb/s分辨率：分辨率：1080X19201080

2、X1920厂商 支付宝客观画质评测指标客观画质指标 Overview图卡图卡mediaInfomediaInfo全参考全参考无参考无参考厂商2 无参考视频画质评测方案竞品分析厂商当我们讨论视频画质时，我们在讨论什么？视频画质，是以人眼为标杆对视频捕捉场景的还原度，视频画质，是以人眼为标杆对视频捕捉场景的还原度，我们都是以日常观察作为先验知识去感受视频是否清我们都是以日常观察作为先验知识去感受视频是否清晰，视频的采集、编码、传输、播放等处理如源场景和晰，视频的采集、编码、传输、播放等处理如源场景和人眼之间的一层层玻璃，每个阶段的质量干扰均会降低人眼之间的一层层玻璃，每个阶段的质量干扰均会降低终端

3、用户感知的画质。终端用户感知的画质。厂商什么是无参考画质评测？有参画质评测无参画质评测无参考源，无参考源，通过算法计算出通过算法计算出与主观评价相近的客观质量分与主观评价相近的客观质量分厂商业界无参考画质评测方案对比TDQATDQAModular-BVQAModular-BVQAGlobalGlobal LocalLocal GatingGating NetworkNetworkQUASIQUASI SDKSDK厂商业界无参考画质评测方案总结数据集更丰富多样数据集更丰富多样 从几年前业界相对较少的VQA公开数据集，发展到目前越来越多的图像/视频集供参考和训练使用。网络模型、方法更精进网络模型、

4、方法更精进 紧跟AI发展脚步，更复杂多样的网络模型，提供更强的特征提取能力，更快的推理性能。更强的场景泛化能力更强的场景泛化能力 得益于数据集的扩展和特征提取能力的提升，场景泛化能力也随之提高。业界方案发展方向厂商3 VQA-GPT 大模型无参画质评测实践厂商数据集构建样本库数据采样 业务分布一致性 分辨率、复杂度、帧率等视频基础信息保持和线上分布一致。视频画质分布采样 视频画质的分布满足从模糊、一般到高清连续过度，不存在清晰度断层的现象，且采样保证随机而不失一般性。多场景采样 场景覆盖面应尽可能广，点播覆盖人像、图文、动漫等场景，直播覆盖秀场和电商等垂类场景。多视频产物采样 采样视频应覆盖源

5、、编码、美颜、增强等链路多环节视频产物。厂商数据集构建打分标注1 视频质量严重受损（内容识别受影响）2 视频质量明显受损（过曝、昏暗、模糊等）3 能看到主要目标（较明显噪声、小范围炫光等）4 主体较清晰明确（噪声不明显，无明显抖动）5 主体清晰（无噪声，纹理细节清晰）厂商数据集构建数据清洗 数据埋点，一致性检验 20%的埋点数据用于辅助校验前后打分一致性，若出现前后不一致，则该标注人员对应分组所有打分记录视为 outliers。打分分布异常检测 若标注人员在某分组的打分分布出现明显偏态，则该标注人员对应分组所有打分记录视为 outliers。均值检验 若标注人员在某一组的打分与该组的分数均值差

6、异过大，则该标注人员对应分组所有打分记录视为 outliers。右图为数据清洗完成后的数据集部分视频截图示例。厂商VQA-GPT 大模型模型主体结构 Swin-B：层次化设计+窗口化自注意力+移动窗口实现高效率空间特征提取。SlowFast：Slow+Fast 两个时间尺度，实现高效时域特征提取。Q-Align：基于LMMs，实现通过文本定义的离散质量等级对视频内容进行质量打分。模型使用 Swin-B+SlowFast+Q-Align主体架构，实现时域和空域特征提取，结合LMMs，以无参考质量指标量化视频画质。厂商VQA-GPT 大模型模型训练使用多个公