A5--屈凯旸--Byteval Lab AIGC音乐生成效果评测与平台实践.pdf

1、AIGC音乐生成效果评测与平台实践屈凯旸字节跳动资深测试开发工程师屈凯旸字节跳动 资深测试开发工程师字节跳动抖音音乐团队资深测试开发工程师，目前主要负责字节跳动抖音系泛音乐业务的质量保障工作，毕业后曾就职于华为，从事泛音频评价算法开发、5G MAC层协议栈开发等工作；抖音智能评测实验室，面向抖音系业务算法的场景，提供评估数据集、智能评估工具和通用评测平台等基础能力，对算法模型在研发、准出和线上阶段提供提供科学、可信评估结论，反哺模型效果和安全的能力持续提升。目录C O N T E N T S1.音乐大模型的产业现状2.音乐评价的渐进式思路3.评测流程的聚合与提效音乐大模型的产业现状01音乐大模

2、型的产业现状小互动：下面哪首歌是AI生成的？歌曲1Dreamer歌曲2Echoes歌曲3Love音乐大模型的产业现状AI音乐发展的3个阶段符号音乐生成全曲生成辅助创作应用全曲生成应用MusicVAEMusicTransformer重重要要模模型型代代表表性性应应用用2018/32018/112018/12MuseNetJukebox2019/42020/42022/12022/32022/12符号音乐模型符号音乐模型2023/92023/92023/112024/4符号音乐模型符号音乐模型全曲生成模型全曲生成模型AIAI模型生成符号音乐模型生成符号音乐AIAI模型生成全曲模型生成全曲 forf

3、or 功能功能/背景音乐生成背景音乐生成AIAI模型生成带人声音乐模型生成带人声音乐2023/1MusicLM2023/6MusicGen音乐大模型的产业现状典型的音乐生成式模型MusicVAEMusicLMMusicGen音乐大模型的产业现状典型的音乐生成公司SUNO音乐大模型的产业现状抖音音乐大模型海绵乐队音乐评价的渐进式思路02音乐评价的渐进式思路传统音频评测强依赖音频硬件线下环境，自动化和并行化程度天花板效应明显音乐评价的渐进式思路主观评测音质指标音质指标音乐性指标音乐性指标人声音质BGM音质作曲编曲混音音频的评价以往大多依赖专业音乐人的主观听音主观听音，参考1996年发布的广播音频主

4、观评价方法，尽管主观标准已经尽力量化评测过程，但是主观评测结果依然强依赖每位评测人的临场发挥；在音乐评价领域，则更依赖音乐专家千人千面、不可复制的乐理经验，以及不同听音状态下的主观判断。音乐评价的渐进式思路乐理权重拟合式评价打散音乐特征：通过将乐理按照不同维度拆解，形成客观的MIR（音乐信息检索）能力，将一首歌分离成多个乐理细节。获取主观数据：请多位专家对一首歌做详细维度&总分评价，得到每首歌、每个音乐特征的对应的“好/坏”标签。多次循环遍历得到权重+阈值：为每一个音乐细粒度特征设定“好/中/差”的初始阈值，以及重要性权重，然后打做第一遍音乐性客观打分，根据当前分数与主观数据的差距，自动化调整

5、所有参数，得到下一次的客观打分.直到客观打分充分拟合到主观数据。音乐评价的渐进式思路乐理结构模型化评价1评价一幅图像时，通过注意力的递进，逐层分解评价音乐评价的渐进式思路使用大模型智能式评价1图文匹配度plane,dog,car,bird=0.4167 0.2732 0.1194 0.1908money,new year,red,envelope,red envelope,China=1.043e-05 1.204e-05 6.700e-05 1.353e-044 9.985e-01 1.169e-03money,new year,red,envelope,China=0.00748 0.00

6、874 0.04877 0.097 0.838音乐评价的渐进式思路使用大模型智能式评价2音文匹配度prompt1：This audio is a disco song:23.82%prompt2：This audio is a rock song:15.22%prompt3：This audio is a pop song:14.99%prompt4：This audio is a reggae song:13.46%prompt5：This audio is a metal song:10.70%prompt1:A man is singing lou