AI销售助手中的声音克隆技术-周维-终版.pdf

1、DataFunSummit#2023AI销售助手中的声音克隆技术演讲人-周维-58同城-算法架构师个人和部门简介周维，58同城AI Lab语音算法部负责人、算法架构师，负责语音识别、语音合成算法研发。2016年硕士毕业于中国科学院大学，2018年5月加入58同城，曾先后参与智能客服、智能外呼、智能写稿等AI项目的NLP算法研发。2019年开始主攻语音算法方向，开始从0到1自主研发58同城语音处理引擎中的语音算法。个人简介AI产品能力总览灵犀智能语音语义平台业务应用平台功能基础能力语音技术NLP技术人机对话平台对话分析平台智能外呼神奇面试间智能质检音视频审核单轮对话语音对话多轮对话性别识别情感计

2、算AI代客发帖文本分类序列标注文本匹配语音识别语音合成VAD说话人分离角色识别语义标签文本对话商家视频生成对话管理AIGC短视频生成智能写稿多模态与AIGC语音文本图像理性自由意志复杂判断符号思维情绪感知外界视觉、听觉、触觉反射运动呼吸人脑结构感知&表达自下而上地构造一个“人”语音合成：让模型具有感性的表达能力。01AI销售助手的背景介绍02基于真实对话数据的少样本声音克隆03多口音口语风格自然度优化04声音克隆服务部署目录 CONTENTDataFunSummit#202301AI销售助手的背景介绍AI销售助手的背景介绍C端用户B端商家浏览发帖潜在客户房产中介小微企业家政公司车商销售、客服5

3、8同城 生活服务平台房产、招聘、汽车、本地生活等AI销售助手的背景介绍客户/用户AI助手ASR/TTS语音多轮对话AI 销售助手工作流程人工外呼商机库转出商机商机组外呼外访成单销售组AI 外呼商机库转出商机机器人外呼外访成单销售组AI销售助手代替商机组，代替了 240+人力AI销售助手的背景介绍拨打合规率=接听率 接听转出率 转出合规率接听转出率=转出商机数接听电话商机数接听转出率影响因素商机质量话术内容对话能力：ASR、NLU、DM表达能力：人工录音 or 语音合成？语音合成机械感 or 真实感？书面化 or 口语化？口音与用户匹配？外呼效果评价指标拨打商机转出商机合规商机抽样人工标注接听真

4、实销售成都口音外呼案例!#$%&()*+,-./&0123456789:;6789:?AB(&C-(D3./EFGHIJK?+LMAJ0%/-&IN7OPHQH-RS#TUVWIXYZ#&IV(&IC-!%/&A(_XY-+-abcdAefg-hij(HC-Vklmno-pA%qr9s%/&tIN7-&IOuvwxBRyk$-zHz#qr;#|IZVtt&C-pA%k-nHLMMAx%/&-N7RkV(&I5“”A./&-HD35LMx%/-u#-MqrkVL&C%HIN7S#-zHzkqr;0.02）Test Case：今天太热了12282Tacotron2FastSpeech2多说话人语音

5、合成模型声码器：Multi-Band MelGANConvConvMel谱UpsampleResidualBlock N合成语音Discriminator Blockreal/fakeDiscriminator Blockreal/fakeAvg PoolDiscriminator Blockreal/fakeAvg PoolMB-MelGAN声码器结构，包含Generator与Discriminator两部分真实语音待判别语音GeneratorDiscriminator训练技巧：使用合成谱相对原始谱训练的声码器音质更好。多说话人语音合成模型长句合成不通顺修复长句问题-分段合并长句合成解决方案

6、Text 1Text 2Text 3FastSpeech2Multi Band MelGANSpec 1Spec 2Spec 3Length MaskSpec MaskLength RegulatorLong Text按固定长度分段，过声学模型多段频谱拼接max_lenTest Case（299个字）我家的后面有一个很大的园，相传叫作百草园。现在是早已并屋子一起卖给朱文公的子孙了，连那最末次的相见也已经隔了七八年，其中似乎确凿只有一些野草；但那时却是我的乐园。不必说碧绿的菜畦，光滑的石井栏，高大的皂荚树，紫红的桑葚；也不必说鸣蝉在树叶里长吟，肥胖的黄蜂伏在菜花上，【25秒】轻捷的叫天子(云雀)