A4--汪璐璐--大模型时代AIGC生成音频质量保障建设.pdf

1、汪璐璐腾讯音乐娱乐集团（TME）汪璐璐TME-专项技术测试高级工程师工作6年，东南大学硕士，毕业后入职 TME，长期从事音视频算法类测试开发工作。目前在腾讯音乐负责算法效果类专项测试及主客观评估工具开发落地，包括音视频专项质量保障、AIGC 生成内容质量保障以及客观评测模型研发落地等。研究方向包括算法效果类评测、主客观评价、评价标准&工具。目录CONTENTS议题背景0102AIGC音频评测标准体系构建AI驱动的主客观评估引擎03规划&展望04PART 01议题背景背景-QQ音乐的业务传统音频AIGC音频背景-QQ音乐的AIGC音频业务AIGC音频评测面临的挑战020103有限的人工评测资源难

2、以应付指数增长的生成音频，传统抽样检测机制存在覆盖度与时效性缺陷。海量样本处理困境既有的客观评测工具在语音合成的自然度、音乐创作逻辑性等AI特有维度缺乏有效度量标准。评估维度缺失风险单向质量检测无法构建评估-优化闭环，导致模型迭代周期与业务需求增长评测速率出现代际差。反馈机制脱节主观评测实践评测人员专家测评用户众测专业标注评测方式音频测评实验室算法迭代闭环定制化检测工具竞品对比分析音频算法准入指标入库实时云控音频优质度音频愉悦度内容可用度内容复杂度多维评价客观评测工具解码错误无效参数类型错误采样率/位深基础指标假无损假Hires音量大小时长质量指标爆音长空白音噪声检测断点音质指标双音频对比音色

3、相似度音频指纹对齐度其他维度文本语料歌声语聊promptbadcase样本库音质项目混音/修音质量专项3A算法延迟&对齐音质音效类业务TTS大模型音效AI codecSVCSVSAI生成类业务音频质量保障体系构建思路音质自然度相似度音乐性评测维度评测标准构建TME音视频评测平台-天秤金耳朵资源PART 02AIGC音频评测标准体系构建AIGC音频分类关键词AIGC音频评测标准体系构建动态样本引擎智能评估矩阵解决模型泛化能力不足突破对抗样本防御盲区消除数据偏见风险应对生成技术代际差异构建完备的样本资源库打破单一指标局限性统一行业评价基准揭示隐性安全风险驱动技术迭代方向建立可解释的评测维度标准样本

4、库构建模块化架构构建多粒度测试集分层测试体系设计缺陷特征聚类+挑战性样本核心问题挖掘策略大模型加持提效智能物料生成技术固化量级分类简单素材选段基于数据收集的样本Badcase累计动态量级层级分明全音素设计基于LLM的智能化测试样本边界攻击样本库构建评测维度标准构建AIGC音频评测重点基础质量内容质量基础指标质量指标音质指标解码错误音频类型错误采样率/位深无效规则参数杂音长空白音音量假Hires时长假无损爆音模型分类特征解耦业务重点Zero-shotsyntaspeechFew-shotGPT-Sovits音色克隆语聊音乐制作音质自然度音乐性相似度评测标准重要依据评测维度标准构建-通用标准AIG

5、C音频通用评测标准电音常见AIGC音频问题吞音抖动机械感平铺直叙停顿不当旋律突兀音色不匹配音节增多音调失衡轻重音错位信息错误情感未表达评测维度标准构建-细化标准TTSTTS音质杂音、混音清晰度自然度停顿语速高低音轻重音拟人感情感口语化音色字错率多音字数字&字符多语种TTMTTM音乐性旋律节奏和弦音乐结构匹配度歌词乐器场景流派音质人声音质伴奏音质自然度韵律发音情感技巧创造性旋律配器演唱技巧喜爱度PART 03AI驱动的主客观评估引擎AI驱动的主客观评估引擎传统音频检测工具AIGC音频检测工具聚焦物理声学特征固定声学场景样本库基于DSP信号处理阈值判定模型基于badcase规则过滤识别生成痕迹深度

6、学习+对抗训练实时生成样本+跨模型开源模型+自数据调整主动防御体系模型算法调优AI驱动客观工具-音色相似度背景原声效果一效果二全民K歌AI歌声业务背景启明星音色魔法师QQ音乐角色互动急需建设覆盖语音+歌声场景的音色相似度评测工具1主客观评测效率差异大客观音质工具效率高，但无法衡量核心体验主观评估反映真实体验，但回收耗时长2缺乏衡量相似度的评测工具主观盲测群体不完全一致痛点AI驱动客观工具-音色相似度算法创建主观标注数据集-语音+歌声的多类型的数据覆盖-关键预处理：VAD有效评断识别/空白帧抽离改进有参考质量评价算法-改进型ERes2NetV2架构-公开&私有数据集联合训练、finetune-多