复杂声学环境下的语音交互：技术与实践-阿里云创新中心智能硬件专场（27页）.pdf

《复杂声学环境下的语音交互：技术与实践-阿里云创新中心智能硬件专场（27页）.pdf》由会员分享，可在线阅读，更多相关《复杂声学环境下的语音交互：技术与实践-阿里云创新中心智能硬件专场（27页）.pdf（27页珍藏版）》请在三个皮匠报告上搜索。

1、复杂声学环境下的语音交互：技术与实践阿里巴巴达摩院-机器智能技术（MIT）实验室 研究员 付强阿里云创新中心智能硬件专场语音交互的意义前端处理技术和方案复杂的声学环境落地案例结语语音交互是物联网的特质互联网的端是电脑办公效率为中心移动互联网的端是手机使用便捷为中心物联网的端是万物沟通自然为中心语音交互是人类交流最自然的方式，也将是物联网时代最基本的特质！从互联网、移动互联网到物联网的演进，均伴随着硬件终端的革新每一次硬件终端的革新也都伴随着人机交互方式的颠覆语音交互的意义前端处理技术和方案复杂的声学环境实际案例结语家远讲、方向性干扰、房间混响较高车扩散场噪声强、混响小机场、展会房间混响高、扩散

2、场噪声强场景碎片化语音交互的意义前端处理技术和方案复杂的声学环境结语落地案例什么是前端处理“自然”意味着对语音交互的场合、使用模式等无约束！痛点问题 远讲交互，目标声源距离拾音设备较远，更易受到声学回声、干扰声源、背景噪声、房间混响等各种不利因素的影响听不清。听清世界的声音人类需要听清语音通信更低的处理延时更高的主观听感和可懂度机器需要听清语音识别更高的信噪比更好的声学模型适配前端处理的意义：面对回声、干扰、噪声和混响等各种不利因素的挑战；综合运用信号处理、机器学习手段以及融合语义层面的信息，提高目标语音的信噪比，增强后续处理的声环境稳健性。一言以蔽之，前端处理是为了让获取的语音更加清晰自然，

3、“听清世界的声音”！技术路线（1）传统信号处理（最小化均方误差）传统端侧信号处理回波抵消前端处理解混响宽带空域滤波背景噪声抑制自动增益控制规则客观物理模型子问题分而治之：针对不同的声学影响采用不同的信号处理算法加以解决优化目标：抑制非目标相关成分优化准则：最小化均方误差音频时频空域特性2麦克风阵列的几个典型疑问1是不是一定需要麦克风阵列？3阵列拓扑结构该如何选取？麦克风数量是不是越多越好？技术路线（2）传统信号处理（最小化均方误差）信号处理与机器学习相结合（最小化均方误差）基于深度学习的端侧信号处理回波抵消前端处理解混响宽带空域滤波背景噪声抑制自动增益控制客观物理模型与数据驱动模型相结合既遵从

4、了声源和声传播的物理规律，又利用了先验数据统计建模带来的稳健性和性能提升优化准则未变，依然是最小化均方误差规则+学习客观物理模型音频时频空域特性+海量音频先验信息深度学习+前端处理系统技术路线（3）传统信号处理（最小化均方误差）信号处理与机器学习相结合（最小化均方误差）前后端联合优化（识别准确率）深度学习框架下的前后端联合优化前端和后端都以语音识别准确率为优化目标：识别误差从后端声学模型反向传播回前端，用于指导前端的优化途径1：端到端，前后端融合成一个统一的模型，输入为原始语音，输出为识别结果途径2：将后端声学模型的梯度反向传播到前端，用于指导前端的神经网络训练识别误差反向传播软核方案在主机中

5、实现软件算法处理和语音交互功能 业界领先的语音前端信号处理、唤醒和离线识别等算法 SDK封装，用于Linux、Android和Windows等操作系统 可定制配套麦克风阵列拾音模组（支持I2S/USB接口）二元线阵四元线阵六元可变阵七元环阵硬核方案内嵌不用的语音处理SDK，实现前端语音处理或全功能的语音交互功能，尤其适用于非语音设备的快速升级改造，支持低功耗使用模式。语音交互的意义前端处理技术和方案复杂的声学环境落地案例结语物灵：luka阅读养成机器人（京东热卖）极米科技：LightankW100数字家圆：亲见H2360：巴迪龙儿童陪伴机器人360：小忆陪伴机器人TCL：TCL/Alcatel Xess平板电视（北美上市）海信电视：XT910/920/PX1900海信电视：XT810海信电视：MU9600/9800 语音遥控团队过往产品案例海尔5代电视机上海地铁语音购票新闻采访机谁唤醒谁使用-人声干扰消除你好你好斑马斑马你好你好斑马斑马主驾驶位副驾驶位方向2收音方向1收音方向1唤醒方向2唤醒麦克风阵列业界首创车载语音交互技术平台以最小识别错误率为准则的前后端联合优化算法硬件方案端云一体的解决方案低成本、低功耗终端产品痛点：面向具体场景和需求精品：技术-内容-服务完美融合动态数据用户动态数据循环+“喂养”机器学习=更强的技术和商业生