1、AIAI音乐应用产业报告音乐应用产业报告2024.07 量子位智库 QbitAI Insights 分析师丁乔 技术篇010203目目 录录产业篇展望篇04产品案例核心结论 音乐符号模型打开AI音乐生成的大门，音频模型找到AI落地音乐应用的方式 音频路线成为研究热点，为应用爆发奠定技术基础 生成式AI改变音乐产业，简化音乐制作流程，提供音乐创作新思路 流媒体平台或成为AI音乐商业化中最确定的一方，传统的音乐工程在此轮变革中是受冲击最大的一方 数据是技术迭代和商业化过程中最关键的一环，生成音乐中对情感表达的把控是产品迭代的关键技术篇01定义：AI音乐生成是指通过对大量音乐数据进行学习和分析，掌握

2、音乐的基本规律和风格特征，从而创作出音乐片段或完整的音乐。AI音乐生成发展关键节点2016202020232024Suno音乐生成领域的集大成者，实现AI生成完整歌曲；2024年3月发布V3模型Udio4 月 11 日，AI 音乐生成工具 Udio 完成测试，正式上线天工SkyMusic4月，昆仑万维发布基于天工3.0打造的天工SkyMusic产品OpenAI发布JukeBox奠定了Transformer文生音乐的基本架构；采用压缩技术让Jukebox能够处理更复杂的音乐，更好地理解音乐文本谷歌发布MusicLM2023年1月，谷歌发布MusicLM，搭建在之前发布的语音模型AudioLM之上

3、Meta入局2023年6月，Meta推出AudioCraft系列产品，包括负责生成音效的AudioGen，生成音乐的MusicGen以及一个全新的压缩编码方式Encodec谷歌Megenta项目音乐生成进入神经网络时代AI音乐生成的基本流程数据收集数据预处理特征提取训练阶段生成新的音乐评估和优化 音频文件、MIDI序列、乐谱或其他音乐数据 对收集到的音乐数据进行预处理，包括去噪、分割、标准化等 提取音乐数据里的特征，包括音高、音色、节奏、动态变化等 选择合适的模型进行训练 模型通过不断调整内部参数来最小化预测误差 对生成的音乐作品进行评估，包括主观评估和客观指标，如音乐理论的一致性和听觉效果的

4、愉悦度；根据评估结果，模型会进一步的调整和优化生成不同类型的音乐 包含人声的完整歌曲 背景音乐音频生成模型两种技术路线符号模型的研究要早于音频模型的研究，但符号模型生成的音乐在最终效果上存在明显的机械、不自然特征，因此在应用侧难以落地。而音频路线在近两年取得了突破性进展，生成的作品更加流畅自然。因此，这条路线成为目前业内更受欢迎的一条路线。此外，音频模型路线因其生成音乐的完整性更高，且能够直接生成歌曲，对于用户来说可以做到零门槛创作，在商业化上也更具潜力。音乐符号模型打开AI音乐生成的大门，音频模型找到AI落地音乐应用的方式原理直接用海量音频数据训练模型，使用深度神经网络和VAE或Transf

5、ormer等方法，端到端直接生成音乐符号生成模型原理提取出音频中的各类音乐信息，如歌词、旋律、乐器等，并对这些信息进行标注，拆分成音乐的各个环节来生成词、曲等 局限算力成本高昂；音频生成的侵权风险相较于符号生成更大（后者学习乐理规则，前者直接模仿成品音乐）局限生成的是音乐的不同部分而非成品音乐，需要通过传统的音乐制作流程，将各部分融合起来，制作成音频内容音频+音乐符号协同生成可根据文本直接生成音频乐谱生成，并且支持对已生成的乐谱进行自动编辑操作案例：腾讯的琴乐大模型，同时支持文本生成音乐，以及乐谱生成谷歌MusicLM音频模型的代表MusicLM在跨模态创作和个性化音乐生成上表现出色，而Mus

6、icGen则在音乐质量和风格适应性方面具有优势。MusicLM的出现标志着音乐生成技术向更高级别的艺术创作和智能化方向发展，而MusicGen则代表了音乐生成技术在音乐制作和质量方面的进一步提升。音频路线成为研究热点，为应用爆发奠定技术基础MusicLM是一个基于Transformer架构的模型。MusicLM的一个显著特点是能够生成多音轨作品，生成的音乐更具艺术性和个性化。结合了文本和音乐两种模态，能够实现跨模态的创意表达模型能够捕捉音乐序列中的长距离依赖关系，生成连贯的音乐作品通过文本描述，模型能够更好地理解用户的需求和创作意图多模态能力模型能够生成具有丰富和声和旋律的音乐，接近专业音乐作