语音技术效率优化实践.pdf

1、mI语音技术效率优化实践颜钊AI实验室高级工程师AI实验室高级工程师李滨#page#mI内容大纲1.基于kaldi的BATCH-AM推理背景介绍，技术方案，部署效果，改进方向2.Tacotron2推理性能优化背景技术框图确定优化重点优化方法优化效果decoder低精度加速效果2020/12/12#page#mI基于kaldi的BATCH-AM推理-背景介绍Kaldi流式解码：GPU交互：线程内串行，线程间并行，每个线程独享一个流P4服务器：高峰时段CPU14%+GPU80%thread1：“今天天气特征提取AMi2推理解码不GPUthreadN：解码特征提取AM推理“播放音乐1jkaldi，语

2、音识别开源框架，http:/www.kaldiasr.org2AM（acousticmodel），即声学模型2020/12/12#page#n！基于kaldi的BATCH-AM推理-技术方案kaldi流式batch解码：GPU交互：单独的推理线程，打包多个请求一并提交给GPUP4服务器：高峰时段CPU50%+GPU80%（更多的解码线程）thread1：AM推理“今天天气特征提取解码838G2GPUthreadN:特征提取AM推理解码“播放音乐2020/12/12#page#n！基于kaldi的BATCH-AM推理-技术方案Context管理Query-Context：保存Query当前的Co

3、ntext推理前：Query-Context-NN推理后：NN-Query-Context自动定位Context位置NN中保存Context的位置（B,T,.)or（T，B，.）2020/112/12#page#mI基于kaldi的BATCH-AM推理-部署效果P4服务器部署在线语音识别服务QPS提升3倍尾包延时不变2020/112/12#page#mI基于kaldi的BATCH-AM推理-改进方向分离AM推理和LM解码GPU集群负责AM推理CPU集群负责LM解码2020/112/12#page#mI内容大纲1.基于kaldi的BATCH-AM技术背景介绍技术方案部署效果改进方向2.Tacot

4、ron2推理性能优化背景技术框图确定优化重点优化方法优化效果，低精度加速效果2020/12/12#page#mITacotron2推理性能优化-背景语音在小米的重要性手机AIOT小爱同学1700万PV唤醒声纹识别NLP/NLG合成2020/12/12#page#mITacotron2推理性能优化-背景用户体验至上质量与复杂度的矛盾拼接合成：寻找候选单元质量好：合成品质高，自然度高的语音间的最优路径速度快：及时的响应速度个性化：声音定制等个性声音的提供基于深度神经网络的语音合成：对时长和声学特征分别建模前沿技术，极致优化端到端合成：我Encoder+Attention+Decoder，利用注意力

5、机制学习对齐信息锅112020/12/12#page#mITacotron2推理性能优化-技术框图WaveformMelSpectrogramSamples全5 Conv LayerWaveNetPost-NetMoLLinearEncoder+Attention+DecoderProjection2LSTM2LayerPre-NetLayersLinearStopTokenProjectionLocationSensitiveAttentionCharacter3ConvBidirectionalInput TextLayersLSTMEmbedding2020/12/12#page#mIT

6、acotron2推理性能优化-确定优化重点TensorFlow profiler/timeline132020/12/12#page#mITacotron2推理性能优化-确定优化重点NVIDIANsightSystems分析模型程序热点CUDA Tesla P40.000090%6Stream1497%KemnelsMemor196Htoomemcpy596Stream 15100%6Memar196Stream18196Stroam191%Otherstreams6100%Mamory1%Mamset99%Dto