5. 游戏场景下音频内容生成技术（朱鹏程）.pdf

1、游戏场景下频内容成式技术朱鹏程易 伏羲实验室 语算法专家介绍网易伏羲成立于2017年，是国内首家游戏人工智能研究机构，以“创建人工智能与游戏交叉领域的一流实验室”为宗旨，运用人工智能尖端技术为玩家营造新世代的游戏体验，推动人工智能技术的发展。网易伏羲人工智能，点亮游戏未来提纲游戏场景下落地应用伏羲语音转换技术方案分享仍在前行的事1游戏AI音频落地应用游戏场景下的音频内容游戏音乐人物语音游戏音效语音生成-增加了“逆水寒“街头巷尾的烟火气语音合成自定义技能喊话-丰富游戏玩家创作空间语音合成语音转换自定义技能喊话-丰富游戏玩家创作空间后处理调节心里话效果快速游戏语音内容生产游戏内容运营内容一人饰演多

2、个角色2语音转换方案分享语音转换今天天真好！今天天真好！Voice Conversion在保持语音的内容不变的情况下，改变说话人的音色主流VC框架ASR Encoder提取音色无关的PPG特征，Voice Conversion模型进行音色转换输入：PPG+speaker embedding 输出：48KHz waveform 语音转换音色混合0.00.250.50.751.0A音色-B音色流式实时语音转换RTC等场景，首帧语音需要在较短时间内返回，流式处理主要挑战性能要求高：模型参数小，CPU、内存占用低，延迟与稳定性要求高上下文信息少：在没有或有限的未来信息的情况下，建模难度大更高的性能要求

3、更少的上下文信息流式实时语音转换-DualVC模型内知识蒸馏使用非参数共享的双模卷积，包括因果和非因果两种卷积将非流式（Teacher）和流式(Student)统一到一个模型中，联合优化混合预测编码（HPC）结合对比预测编码（CPC）和自回归预测编码（APC）在流式语音转换中具有卓越的性能，仅具有252.8毫秒的延迟Ning Z,Jiang Y,Zhu P,et al.DualVC:Dual-mode Voice Conversion using Intra-model Knowledge Distillation and Hybrid Predictive CodingJ.Interspee

4、ch 2023.DualVC结构图因果卷积改造DualVC所存在的问题AR自回归错误累积：模型效果随时间逐渐变差Chunk内信息使用不足噪声鲁棒性不足静音段噪音无法去除干净、噪声转换为杂音流式实时语音转换-DualVC2Ning Z,Jiang Y,Zhu P,et al.DualVC 2:Dynamic Masked Convolution for Unified Streaming and Non-Streaming Voice Conversion.并行化模型结构基于Conformer，提升并行计算能力，避免自回归错误累积问题动态掩蔽卷积（DMC）动态掩蔽卷积感受野中的未来信息，使非因果

5、卷积能应用于流式模型安静注意力修改softmax函数，避免了传统注意力各帧权重之和必为1的缺陷进一步提升性能，相比上代模型推理速度提高70%，延迟下降至180ms动态掩蔽卷积流式实时语音转换-DualVC2Ning Z,Jiang Y,Zhu P,et al.DualVC 2:Dynamic Masked Convolution for Unified Streaming and Non-Streaming Voice Conversion.流式实时语音转换-DemoNing Z,Jiang Y,Zhu P,et al.DualVC 2:Dynamic Masked Convolution f

6、or Unified Streaming and Non-Streaming Voice Conversion.Expressive-VC:Highly Expressive Voice Conversion with Attention Fusion of Bottleneck and Perturbation Features,ICASSP2023标输语输出语高表现力语音转换ONE-SHOT VOICE CONVERSION FOR STYLE TRANSFER BASE