联想：智能语音技术白皮书（2023版）（84页）.pdf

《联想：智能语音技术白皮书（2023版）（84页）.pdf》由会员分享，可在线阅读，更多相关《联想：智能语音技术白皮书（2023版）（84页）.pdf（84页珍藏版）》请在三个皮匠报告上搜索。

1、 联想智能语音技术 白皮书（2023 版）联想智能语音技术白皮书 I 1 前言.1 2 智能语音技术发展背景.3 2.1 智能语音技术发展历史.3 2.2 联想语音技术研发布局.8 3 联想智能语音关键技术.10 3.1 前端信号处理.10 3.1.1 语音活动检测.11 3.1.2 回声消除.13 3.1.3 噪声抑制.14 3.1.4 波束形成.16 3.1.5 声源定位.17 3.1.6 去混响.19 3.1.7 语音分离.21 3.2 语音唤醒.22 3.3 语音识别.26 3.3.1 混合架构语音识别系统.27 3.3.2 端到端语音识别系统.29 3.4 语音合成.35 3.5 副

2、语言语音属性分析.39 3.5.1 声纹识别.39 3.5.2 音频分类.44 3.6 说话人日志.46 联想智能语音技术白皮书 II 3.7 英语发音评估.51 4 联想智能语音服务平台.54 4.1 服务平台整体架构.54 4.2 使用方法及特点.55 5 联想智能语音产品和解决方案.57 5.1 联想小乐语音助手.57 5.2 基于 AI Chip 的声纹唤醒解决方案.59 5.3 联想智能座舱语音解决方案.60 5.4 联想智能语音客服系统.63 5.5 联想智能会议语音识别系统.67 5.6 联想智慧教育英语口语评估系统.72 6 智能语音技术展望.75 6.1 多模语音交互达到“类

3、人”水平.75 6.2 语音设备生态走向开放互联.76 6.3 离线语音技术进一步提升语音产品渗透率.76 参考文献.77 联想智能语音技术白皮书 1 1 前言 语音是指人类通过发音系统，包括肺部、气管、喉部声门和声带、咽腔、口腔、鼻腔等，发出的在空气中传播的、具有一定意义的声音，是语言的声音形式，是人人交流中最主要的信息载体。另外，通过让机器能听会说，语音也成为人机交互的重要入口。语音技术一般包括传输、存储、识别、合成、增强等方面，智能语音技术的研发主要聚焦于语音的识别理解、合成输出和声音增强。随着信息技术的发展，智能语音技术已经成为人们信息获取和沟通最便捷、最有效的手段1。对智能语音技术的

4、研究可追溯到上个世纪 50 年代，在经历了萌芽期、起步期、变革期后，目前正在进入发展高峰期。由智能语音技术驱动的语音用户界面已成为键盘鼠标、触摸之后的新一代人机交互界面。语音识别技术更是被认为已具备较高的成熟度水平，随着 PC、平板、手机、IOT 等设备走入了千家万户，消费者对其依赖程度越来越高，同时还为不同行业提供语音转文字的基本通用能力，如在智慧客服、智慧教育等垂直领域。技术进步也带来了智能语音市场规模的快速增长，德勤报告显示，预计 2030 年消费级应用场景将超过 700 亿元，企业级应用场景在疫情的催化下也将加速发展，预计会达到千亿规模2。联想结合自身在智能设备以及教育、服务等领域的优

5、势，布局智能语音技术的研发，推进产品落地。联想是首家实现手机超低功耗全时语音识别系统量产的厂商，采用自有 IP 的声纹和唤醒技术，实现了全球首款支持在关机和待机状态下通过声纹唤醒的 PC 产品。在人工智能领域为行业发展做出了诸多突破性和引领性的贡献。本白皮书通过回顾智能语音技术发展历程，阐述联想在智能语音领域的研发布局和思考，带领读者了解联想深耕语音核心技术所取得的突破，以及基于自研核心技术搭建智能语音服务平台，并介绍联想在自研语音平台支撑下结合自身优势在语音产品和应用上的实践案例，最后展望联想智能语音技术白皮书 2 未来发展趋势。联想智能语音技术白皮书 3 2 智能语音技术发展背景 2.12

6、.1 智能语音技术智能语音技术发展发展历史历史 对语音技术的研究可追溯至上世纪 50 年代。受限于计算机能力和信号处理技术水平，早期学者们对语音技术的研究主要聚焦在声学语音学方面，开发的识别系统可用来识别通过模拟装置产生的在频谱上具有共振峰特性的不同元音。1952 年贝尔实验室研发出第一个特定人数字识别系统 Audery，该系统可以识别英文发音的 10 个阿拉伯数字 09，对熟人发音的识别准确率达到 90%以上，对陌生人则偏低。1962 年 IBM 推出 Shoebox 系统，可以识别和理解 16 个英文单词，以及对 10 个数字进行加减运算的语音指令。1972 年，CMU 发布了针对孤立词语

7、以及简单句式的语音识别系统 Harpy，该系统能够识别 1011 个单词，使大词汇量、孤立词识别取得突破性进展。同期语音端点检测的概念和方法也被提出，进一步提升了语音识别的能力。随着线性预测编码和动态规划技术的发展，语音信号建模问题和时序匹配问题得到了更好的解决，建模思路也开始从传统的基于模板匹配的方法发展为基于概率统计的方法，从而将语音识别从孤立词识别阶段推进到连续语音识别阶段。进入二十世纪 80 年代，隐马尔可夫模型（HMM，Hidden Markov Model）被用来建模短时平稳的语音信号的动态特性，解决连续语音识别问题。1988 年第一个非特定人、大词汇量、连续语音识别系统 SPHI

8、NX 问世，可支持近 1000 个词汇。进入 90 年代，GMM-HMM（GMM，Gaussian Mixture Model）成为语音识别的主流框架，语音识别水平也在逐渐提升，实现了超过上万词汇量的大词表连续语音识别系统（LVCSR，Large Vocabulary Continuous Speech Recognition）。然而，受限于训练语料规模、模型建模能力以及计算机水平，这一时期技术水平只能支持简单的产品形态，未达到支持大规模商用的成熟度。2006 年基于深度学习理论的建模方法在机器学习任务被成功应用。深度神经网络（DNN，Deep Neural Network）通过多层非线性结构

9、将输入特征转换为更加抽象的高层表示，具有更强联想智能语音技术白皮书 4 的特征表达能力和建模能力。2009 年 DNN 成功取代 GMM 对语音信号进行特征变换和状态预测，DNN-HMM 的混合框架也成为语音识别的主力架构，将语音识别性能相对提升 30%，取得突破性进展。随后语音识别技术更加快速地发展起来，卷积神经网络（CNN，Convolutional Neural Network）被用来提取更精细和更鲁邦的特征表示，长短时记忆网络（LSTM，Long-short Term Memory）用于建模长时时序动态相关性，说话人自适应声学模型和鉴别性训练等技术都使得系统性能持续提升。到 2017

10、年微软公布 Switchboard 任务错误率达到 5.1%，与人类识别水平相当。DNN 除在语音识别领域取得成功外，也为其他语音处理技术带来了突破，如声纹识别、语种识别、音频分类等都可以利用深度神经网络的特征表达能力将不定长的帧级输入转为固定维度的深度嵌入向量特征（Deep Embedding），再针对目标任务进行分类和判别。这些分析语音中除语义内容以外其他信息的任务被统称为副语言语音属性识别，可以采用统一的 Deep Embedding 框架，相比传统的统计建模方法有显著优势。技术瓶颈的突破为智能语音行业带来了快速迭代升级，HMM-Hybrid 框架已经在很多语音产品和行业中落地商用。近年

11、来端到端语音识别系统（End-to-end ASR）快速发展起来。端到端的语音识别框架直接建立语音和输出的字母或音素之间的映射关系，将声学模型、语言模型和发音模型以统一的目标容纳到一个整体中，与传统 Hybrid 框架相比简化了建模过程。目前主流的端到端模型主要包括CTC（Connectionist Temporal Classification）、RNN-Transducer以及基于注意力机制的LAS（Listen,Attend and Spell）等。单从语音识别的性能来看，End-to-end ASR 已经逐渐赶超 Hybrid 框架，表现出更强的鲁棒性。相信随着在实际复杂场景的应用中不

12、断进行打磨，端到端语音识别系统的应用成熟度会越来越高，并进一步推动语音产业的发展。语音识别是让机器听懂人说话，而语音合成是为了让机器更准确、更自然地表达。语音合成的历史可以追溯到 17 世纪法国人研发的机械式说话装置。在 19 世纪开始研究电子语音合成技术，语音合成技术得到了飞速发展。1939 年贝尔实验室利用共振峰原理制作出第一个电子式语联想智能语音技术白皮书 5 音合成器 VODER0，1960 年瑞典语言学家 G.Fant 阐述了语音产生的理论，极大地推动了语音合成技术的发展。1980 年 E.Moulines 和 F.Charpentier 提出了 PSOLA（Pitch Synchr

13、onous Overlap Add）3 算法，使得合成语音更加自然。19 世纪 90 年代，语音合成商用系统还是以单元挑选与波形拼接的方法为主，基于大语料库，从预先录制和标注好的音频库中选择合适的语音片段进行拼接，得到最终合成的声音4。这种方法可以保持较高的语音质量，但无法保证领域外文本的合成效果，并且很难在移动设备上离线部署。20 世纪末，基于统计建模和机器学习的语音合成技术被提出。语音合成的技术框架在此时已基本形成，由文本前端、声学模型、声码器三部分组成。文本前端负责将输入的待合成文本转换成较为复杂的语言学特征；声学模型负责将语言学特征映射为声学参数特征；声码器负责将声学参数特征重建为最终

14、的时域波形。这种方法可以利用较少的语音数据快速地构建出语音合成系统，且不受语料库限制，支持离线部署和嵌入式设备等多样化语音合成的需求。但该方法所需的语言学特征较为复杂，且由于生成的声学特征参数过于平滑等问题，合成语音的自然度仍然有待提升。进入 21 世纪，随着深度学习的飞速发展，基于统计建模的语音合成技术逐渐被深度神经网络所取代。基于深度学习的语音合成技术将声学模型输入所需的复杂语言学特征简化为包含韵律信息的拼音/音素序列，甚至可以直接将文本作为输入。得益于深度神经网络强大的建模能力，语音合成的质量和自然度有了大幅提升，有些情况下甚至难以分辨是合成语音还是真实语音。在人机交互中，除了语音识别和

15、语音合成，为了让机器“听清”复杂场景下的语音信号，前端信号处理技术也是非常重要的部分。前端信号处理就是利用数字信号处理技术对语音信号进行一系列处理，以实现存储、传输，增强等目的。根据要解决的问题，可以分为多个方向，包括语音活动检测、回声消除、噪声抑制、波束形成、声源定位、去混响和语音分离等。上个世纪，联想智能语音技术白皮书 6 随着数字信号处理技术的发展，语音前端信号处理的各个方向都有相应的经典算法提出。语音活动检测最早的方法是基于语音能量，后续又有各种效果更好的特征被提出，一些经典的算法也被国际标准所采用，例如国际电信联盟电信标准分局(International Telecommunicat

16、ion Union,ITU-T)的 G.729B、第三代合作伙伴计划(The Third Generation Partner Project,3GPP)的自适应多速率编码(Adaptive Multi-Rate,AMR)等。这些方法通过提取特征，并与阈值比较来实现语音或非语音的判断。由于在复杂噪声环境下，这些方法可能性能会下降，有研究提出基于隐马尔可夫模型(Hidden Markov Model,HMM)的方法。近些年来，神经网络在语音活动检测发现得到广泛应用，获得了优异的性能，同时具有良好的噪声鲁棒性。由于早期电话应用使用低延时的模拟技术并且通讯距离普遍较短，回声消除问题在当时并不明显。2

17、0 世纪中叶以后，由于卫星系统发展，需要解决遇到的回声消除问题。一种方法是使用切换的方式来隔断回音信号，这种方法虽然有效，但会导致交谈不自然。上个世纪六十年代以前，普遍采用一种叫回声抑制器的方法来实现回声消除，其原理是对回声进行一定程度衰减从而提高通信质量，但是只适用于时间延迟很小的场景。而随着卫星通信和 IP 电话的发展，传输时延有可能超过 100-300ms，回声抑制器在这种情况下不再有效，因此需要对回声消除技术进行更多的研究。在众多方法中，基于自适应滤波器的回声消除技术表现良好，逐渐成为主流方向。20 世纪 80 年代以来，国际电联 ITU 先后制定了消除线路回声的 G165(Echo

18、Canceller)，消除音频终端回声的 G167(Acoustic Echo Canceller)及消除数字网络回波的 G 168(Digital Network Echo Canceller)等国际标准。近些年，基于神经网络的回声消除方法不断被提出，获得了优于传统方法的性能。噪声抑制的研究始于 20 世纪 70 年代。1978 年，Lim 和 Oppenheim 提出了基于维纳滤波的方法。1979 年，Boll 提出了谱减法来抑制噪声。1980 年，Maulay 和 Malpass 提出了软判决噪声抑制的方法。1984 年，Ephraim 和 Malah 提出了基于 MMSE 短时谱幅度估

19、计的方法。1987 年，联想智能语音技术白皮书 7 Paliwal 把卡尔曼滤波引入到语音增强领域。在多年的研究中，越来越多的方法不断被提出。近些年，基于神经网络的方法能够实现对稳态和非稳态噪声很好的抑制，同时能够做到对语音的失真影响极小。波束形成最基本的方法是延迟求和技术。1969 年，Capon 提出了最小方差无失真响应(Minimum Variance Distortionless Response,MVDR)波束形成算法，是目前应用广泛的自适应波束形成方法之一。1972 年，Frost 提出了线性约束最小方差(Linearly Constrained Minimum Variance,

20、LCMV)波束形成器，它实际上是 MVDR 的扩展。1982 年 Griffiths 提出了广义旁瓣相消器，避免了 LCMV 推导过程中的约束条件。神经网络技术近年来也被应用于波束形成中，通过神经，实现对信号统计量更准确的估计，从而获得更好的性能。声源定位的常用算法是 1976 年 Knapp 提出了广义互相关方法，利用声音时间差和阵列的几何结构计算声源方位。1979 年 Schmidt 等人提出了多重信号分类方法，对方位的估计具有很高的分辨率，同时对麦克风阵列的阵型没有要求。此外也有学者提出了可控波束响应的方法，基于不同方向上的波束形成后的功率谱实现定位。波束形成方法也可用于去混响，但目前常

21、用的方法主要是基于逆滤波的方法。2010 年Nakatani 提出的加权预测误差算法，能够实现良好的去混响效果。而后的研究借助神经网络对其进行改进，通过神经网络更准确地估计信号统计量，实现了更好的效果。除了通过神经网络估计信号统计量，也有越来越多的研究尝试直接从混响语音中估计直达语音来实现去混响。语音分离的经典方法是独立成分分析，在此基础上，又发展出多种新方法，例如独立向量分析等。近些年，基于神经网络的语音分离方法的性能能够很好地将多个说话人的语音分离开来，而通过引入说话人的信息，能够实现针对特定用户的语音分离，效果进一步得到提升。随着多年的发展，不断有新的前端信号处理技术被提出，这些技术将不

22、断为语音系统中的后续模块，例如语音识别、语音通信等提供越来越好的使用体验。联想智能语音技术白皮书 8 2.22.2 联想联想语音语音技术技术研发研发布局布局 联想集团自 2011 年开始投入语音研发，目前已涵盖声学前端、语音识别、语音合成、声纹识别、音频分类、语音评测等方向的全栈技术，支持联想产品和应用。图 2-1 联想语音技术研发历程 2013 年联想发布并开始运营支持引擎自由插拔的第一代自适应语音平台，通过平台输出语音能力支持各类设备上的语音应用，如 PC 照片大师（PhotoMaster）的语音搜索。凭借设备端优势，联想语音也为行业发展做出了诸多突破性和引领性的贡献。2014 年成为率先

23、发布“One-shot Touchless”免触语音拨号和接听功能的中国公司。2015 年联想手机语音助手乐语音入驻软件商店，成为当时国内为数不多、支持语音助手自由下载的手机厂商。同时，随着 DNN-HMM 混合语音识别框架性能的不断进步，联想的语音平台也快速切换到自研的基于深度学习的语音识别引擎上。2017 年开始启动第二代语音平台，基于联想自研核心技术输出语音识别、语音合成等SaaS 服务，并实现语音识别全场景覆盖，包括短语音识别、长语音识别、电话语音识别等功能，应用于联想中国区出货的所有品牌手机上的预装语音助手。除了近场语音识别，为了在 IOT 场景打造更优秀的用户体验，联想研究院还发力

24、远场语音识别的研发。2019 年在 Interspeech VOiCES国际远场语音识别比赛固定系统项目中，联想远场语音识别系统获得国际第二名。目前联想自研语音平台已全线赋能联想的智能设备，包括 PC、平板、手机和 IOT 设备等。除了在设备端的应用，联想智能语音平台也为不同行业在垂直领域提供语音能力和服务。在联想智能语音技术白皮书 9 智慧教育领域，联想开发了自研的英语口语发音评测引擎，将其应用于智慧教育解决方案中的英语听说模拟考试训练，即在英语听说教室系统中帮助学生进行英语口语的模考和练习。在智能客服领域，基于自研语音识别、语音合成、声纹识别、语义理解等核心引擎构建了联想电话语音识别系统，

25、打造从基础硬件设施层、算法层、产品层到应用层的端到端智能客服解决方案，实现了智能质检、智能 IVR 和智能外呼等应用，大大减少了人工工作量，为联想内部和外部企业的客服中心进行智能化转型赋能。在车载应用场景，联想凭借自身强大的高性能计算优势发力车计算业务，实现了智能座舱中的语音交互解决方案。总体而言，联想智能语音技术研发布局如图 2-2 所示，包括核心技术引擎层、平台层和应用层，结合自身硬件和设备优势，打造了从底层硬件到核心技术算法，再到上层产品和应用，从技术到用户的全链覆盖型企业生态，以用户为中心，提供先进的、差异化的产品和服务。同时，2018 年三方机构报告显示，联想在语音&自然语言处理领域

26、专利数量世界排名第 19 名、中国排名第 3 名5；2019 年国家工业信息安全发展研究中心“人工智能中国专利技术分析报告”显示，联想语音识别领域专利申请量中国排名第 6 名。图 2-2 联想语音技术研发布局 联想智能语音技术白皮书 10 3 联想智能语音关键技术 本章节将介绍联想在智能语音关键技术研发上取得的进展和突破。按语音的应用场景可以将智能语音技术分为人机交互和人人交流两大类。在人机交互方面的应用主要是为了让机器更好地听懂、理解和表达，涉及语音声学前端信号处理、语音识别、说话人识别、语义理解和对话管理，以及语音合成等方面的技术；在人人交流方面主要是人与人自然交谈的“泛会议”场景的应用，

27、例如智能会议、客服质检、智慧医疗等，声学前端处理的目标一方面是获得更准确的识别和分析结果，另一方面是提高人人通话的语音质量。联想在语音核心技术上进行全栈布局，包括声学前端、语音唤醒、语音识别、语音合成、副语言语音属性识别、说话人日志、发音评测等几大方向，单点技术的算法性能在众多国际评测中取得了优异成绩，处于国际前列的水平；同时在推进核心算法落地方面，联想依托设备和行业解决方案上的优势，通过多技术组合打造自研的语音技术解决方案。3.13.1 前端信号处理前端信号处理 在日常生活场景中，语音信号常常会受到各种环境因素的影响，如噪声、回声、干扰人声以及混响等，从而造成语音通信质量变差，语音识别系统的

28、使用体验不佳。语音前端处理技术能够图 3-1 联想语音核心技术模块组成 联想智能语音技术白皮书 11 有效地降低这些不利因素对语音的影响，保障用户使用体验。图 3-2 描述了语音前端信号处理技术所要解决的几个关键问题：回声、噪音、混响和干扰源。回声是指拾音设备在拾取目标说话人的声音时，还拾取了扬声器播放的声音，导致远端说话人会听到自己的说话声。噪声在环境中普遍存在，包括稳态噪声（如空调噪声）和非稳态噪声（如键盘声、敲门声）。混响是由于说话人的信号除了会通过直达路径传播到拾音设备，还会被墙壁等物体表面经过多次反射后再被拾取，较大的混响会对通话质量和语音识别产生一定的影响。干扰源是指来自非目标说话

29、人方向上的语音或噪音。解决这些问题对应的语音前端处理技术主要包括语音活动检测、回声消除、噪声抑制、波束形成、声源定位、去混响、语音分离等。图 3-2 语音前端信号处理技术要解决的关键问题 3.1.1 语音活动检测 语音活动检测（VAD，Voice Activity Detection，or SAD，Speech Activity Detection）用于从音频信号中检测出有效语音片段的起始时间和结束时间。这一技术常常应用于通话系统和语音识别系统，可以减少系统传输数据量和运算负担，尤其当作为语音识别任务的前置模块时，VAD给出的准确时间信息可以有效提升语音识别准确率。联想智能语音技术白皮书 12

30、 VAD 的基本流程如图 3-3 所示：图 3-3 语音端点检测实现方法 首先声音信号通过特征提取模块得到语音特征，提取的特征可以分为时域特征和频域特征。时域特征包括短时能量、短时过零率、最大能量、最小能量等，频域特征包括频谱、基频、谱熵、倒谱等。然后通过判决准则，判定特征对应的音频段属于语音还是非语音。判决准则可以分为三类，分别是基于门限、基于统计模型和基于深度学习的方法。-基于门限的方法：通过对数据特性实时分析，动态地调整阈值，并将特征与阈值对比来实现判决。例如特征为短时能量时，能量大于阈值的音频段即被认为是语音段。-基于统计模型的方法：通常假设语音和非语音各自满足独立的分布，将特征用概率

31、密度函数来描述，从而获得似然比，将似然比与预设的阈值对比实现判决。-基于深度学习的方法：预先用大量标注数据训练好神经网络，基于神经网络模型预测某帧特征属于语音或非语音类别的概率，将概率与阈值对比实现判决。得到的判决结果可能存在一些突变，可以采用一些方法进行平滑。常用的有 HMM、状态机、中值滤波等。早期的 VAD 多为基于门限的方法，这种方法简单快速，在信噪比较高时能够获得较好的效果，而在低信噪比时性能有所下降，这时基于统计模型的方法能够获得更准确的结果。随着深度学习的发展，不同类型的神经网络结构被应用到 VAD 模块中，从基本的 CNN、MLP（Multilayer Perceptron）到

32、 LSTM、ResNet-LSTM（Residual Network-LSTM）、U-Net 等，VAD 准确率得到联想智能语音技术白皮书 13 了不断提升，在低信噪比时也能有很好的表现。联想目前采用的 VAD 方案是一套融合方案，适配不同的需求和应用场景。对于计算资源有限且要求低延迟的场景，我们采用全卷积的网络结构，特征采用 MFCC（Mel-frequency Cepstral Coefficients）以降低输入层维度，从而降低计算量和功耗；对于声学环境特别恶劣、同时对精度有高要求的场景，我们采用了基于 U-Net 的网络结构，特征采用频谱，同时在训练阶段辅以SpecAugment6 等

33、数据增强技术，获得了良好的性能。这套方案在 2021 年 Interspeech Fearless Steps Challenge Phase III 挑战赛中 SAD 赛道获得了第二名7。3.1.2 回声消除 回声消除（AEC，Acoustic Echo Cancellation）的常用场景是两位用户在通话时，远端用户的语音通过远端麦克风拾取并传送给近端用户，近端的扬声器播放后又被近端麦克风拾取并回传给远端，为了避免远端用户听到自己的语音，就要对近端麦克风拾取到的声音进行回声消除。AEC 的基本思想是联合自适应滤波处理和回声后处理，基本原理如图 3-4 所示：图 3-4 回声消除实现方法 A

34、EC 主要包含以下模块：时延估计：扬声器播放的参考信号，经过传播后称为回声，与说话人的语音一起被麦克风拾取作为输入信号。输入信号中的回声与原始信号之间存在一定的时间差，需要估计二者的时延来进行对齐以便于后续的处理。时延估计模块一般可采用互相关算法。联想智能语音技术白皮书 14 线性回声消除：通过估计自适应滤波器系数，对参考信号进行滤波，以模拟回声，再从输入信号中减去模拟的回声，只保留说话人的语音。这一步中，应当尽可能使模拟的回声与真实的回声接近，同时要保护说话人的语音不受到损伤。双讲检测：通话时，滤波器系数一般需要根据实际声学环境来不断更新。当近端和远端同时说话，这种情况被称为双讲。此时近端的

35、语音会导致滤波器系数估计不准确甚至不收敛，因此需要双讲检测技术。当检测到双讲存在时，就固定滤波器的参数不更新，避免滤波器系数的发散。残余回声抑制：由于实际场景中回声与参考信号之间的关系并非线性，因此在应用线性回声消除后，可能依然残留了一定的回声，此时就需要应用非线性处理技术进一步抑制，以获得更好的效果。考虑到算法速度和计算量等因素，联想采用的回声消除方案基本流程如图 3-5 所示：图 3-5 联想 AEC 算法流程图 我们采用了 GCC-PHAT（Generalized Cross Correlation Phase Transformation）方法计算时延，延时信息体现在互功率谱的相位上，

36、与幅度无关，具有较好的鲁棒性。之后采用了 PBFDAF（Partitioned Block Frequency Domain Adaptive Filter）方法进行线性回声消除，这里又分为滤波状态和滤波器系数更新状态两步。最后计算参考信号和麦克风信号的相关系数，以及麦克风信号和残差信号的相关系数，经过若干判断计算得到增益因子 G，与信号相乘得到残余回声抑制后的信号。该方法运算速度快、计算量小，能够获得较好的性能，适合在设备端应用。3.1.3 噪声抑制 人类生活环境中处处存在噪声，在很多情况下会产生不良影响，例如使通话体验变差、语音联想智能语音技术白皮书 15 识别准确率下降等。目前业内主流的

37、噪声抑制方法主要分为以下几类：谱减法：假设噪声为加性噪声且噪声变化是平稳的，可以通过从带噪语音的频谱中估计噪声谱、并将其从信号中减去，从而达到降噪的目的。维纳滤波：是对带噪语音进行滤波的思路，基于最小均方误差准则，最小化滤波后的语音与纯净语音之间的均方误差，然后推导出最优滤波器对信号进行滤波实现降噪效果。基于统计模型的方法：假设语音和噪声是统计独立且服从特定分布，基于统计估计的框架对观测信号进行推导，得到统计模型参数的非线性估计器，从而得到带噪语音频谱的增益系数来实现降噪。子空间方法：子空间方法基于线性代数理论，将纯净信号视为带噪信号欧式空间中的一个子空间，通过将带噪信号向量空间分解为分别由纯

38、净语音主导和噪声信号主导的两个子空间，然后将噪声子空间的分量去除来实现降噪。随着深度学习的发展，神经网络在噪声抑制领域中得到了广泛的应用，通过对纯净语音叠加噪声获取训练数据，训练得到的降噪模型对于稳态和非稳态噪声都具有很好的降噪性能。一些研究直接学习带噪语音幅度谱到纯净语音幅度谱之间的映射关系，也有研究将频谱掩蔽作为学习目标。已有越来越多的模型结构、损失函数等被提出，降噪性能也在不断改善。联想在噪声抑制方面采用了联合方案，对于只含有稳态噪声（例如空调声）的场景，我们采用基于维纳滤波的方案，基本流程如图 3-6 所示：这种方案计算量小、速度快，对稳态噪声有良好的抑制效果。而对于既有稳态噪声又有非

39、稳态噪声（例如咳嗽声、拍手声、键盘声等）的复杂场景，我们采用基于神经网络的端到端方案，图 3-6 联想噪声抑制算法流程图 联想智能语音技术白皮书 16 其训练和降噪的基本流程如图 3-7 所示：图 3-7 联想 AI 噪声抑制算法流程图 目前联想语音降噪模块主要基于 DCCRN8的模型结构进行优化，该模型对众多非平稳噪声都能够实现较好的降噪效果。3.1.4 波束形成 麦克风在拾音时，除了会采集到来自目标说话人方向处的语音，还有可能采集到来自其他方向的非目标说话人语音或噪音，此时利用空域信息的麦克风阵列波束形成技术能够获得相比于单通道算法更好的降噪性能。波束形成的基本原理如图 3-8 所示：图

40、3-8 波束形成原理 声音以波的形式传播，远场语音传播到麦克风阵列处时可以将其视为平面波，各麦克风录制到的声音之间会存在一定差异。波束形成可以分解为两个子过程，首先将每个麦克风录制的声音联想智能语音技术白皮书 17 延迟或提前一段时间，使每个声音中的目标语音信号成分在时间上对齐，之后将对齐的信号进行加权求和。根据加权系数确定方式的不同，波束形成可以分为固定波束形成和自适应波束形成两大类。固定波束形成的加权系数由预先确定的阵列阵型和波束方向所决定，信号的改变对波束计算过程没有影响。自适应波束形成是根据信号和噪声的特性，自适应地估计最优的加权系数。近年来，机器学习与波束形成技术相结合，进一步提高了

41、波束形成的性能。CGMM-MVDR方法通过 CGMM 估计得到带噪语音中的时频掩蔽，提高了对移动声源的跟踪能力和降噪能力。NN-GEV 方法使用神经网络估计带噪语音中的时频掩蔽，实现了对功率谱和导向矢量的估计，进一步提高了性能。联想语音采用的波束形成方案是基于 CGMM-MVDR 9的技术来实现的，基本流程如图 3-9所示。图 3-9 联想波束形成算法流程图 CGMM-MVDR 的基本思想是使用 CGMM 分别估计带噪语音中的语音和噪声的时频掩蔽，进而计算得到语音和噪音的功率谱和协方差矩阵，通过对协方差矩阵应用特征值分解，将最大特征值对应的特征向量作为导向矢量的估计，最后应用 MVDR 实现降

42、噪。该方案不受麦克风阵列的阵型和麦克风数量的限制，能够方便地部署到各种设备上；同时在嘈杂的环境中，能够获得良好的降噪性能，提高 ASR 的识别准确率；此外得益于 CGMM 的无监督性，该方案对于各种噪声场景都具有一定普适性，表现出较好的鲁棒性。3.1.5 声源定位 声源定位技术通过对麦克风阵列采集到的信号进行分析从而得到声源相对于麦克风阵列的方向，主要分为以下几类：1.基于广义互相关（GCC，Generalized Cross Correlation）的方法 联想智能语音技术白皮书 18 这种方法的基本思想是计算两个麦克风信号之间的广义互相关，从而得到声波传播到两个麦克风之间的时间差，再根据阵

43、型的几何结构计算出声波与麦克风阵列所在平面的夹角实现定位。这种方法简单快速，实时性好，但在噪声和混响的环境下性能会受到一定影响。2.基于可控波束响应（SRP，Steered-Response Power）的方法 这种方法的基本思想是对麦克风阵列的接收信号在所有的观测方位进行延迟求和的波束形成，即将各通道信号根据直达声波传递信号路径的差距进行时延，得到一个单通道的增强信号，然后分别求得功率。在多个观测角度上进行遍历，找到能量最大的增强信号，其对应的观测方位就是估计的声源方位。为了使 SRP 算法对环境混响有更好的鲁棒性，相位加权变换（PHAT，Phase Transform）被用来进行频域幅值的

44、归一化操作，仅保留相位信息，从而弱化了无关峰值，对噪声和混响的灵敏度降低，进一步提高了鲁棒性和定位的精准度。3.基于多重信号分类（MUSIC，MUltiple SIgnal Classification）的方法 和 SRP 的设计思路不同，MUSIC 声源定位算法从矩阵分解的角度，将接收信号看成干净语音信号的线性变换和噪声信号的叠加。通过对混合信号的协方差矩阵进行奇异值分解，可以得到信号子空间和噪声子空间。MUSIC 算法使用噪声子空间和各方向的导向矢量构建一个空间谱，遍历空间谱的各点位置，求取峰值所在方位，即为声源对应的方位。MUSIC 算法的主要优点是可以突破麦克风间距的限制，且可以对多个

45、声源进行定位。联想实现的设备端基于麦克风阵列的声源定位功能主要是针对会议场景，采用了基于 SRP-PHAT 的声源定位算法，针对输出稳定性和混响环境下的鲁棒性进行优化迭代，在 3m 远场拾音条件下定位准确度的平均误差在 5 度以内，该方案对单一声源具有更好的通用性和更低的计算量。联想智能语音技术白皮书 19 3.1.6 去混响 在室内录音时，声波不仅会沿直线路径传播到麦克风，还会经过墙壁和其他表面的多次反射进行传播，最终直达声和反射声都被麦克风所录制，这些通过反射传播到麦克风处的声音被称为混响。其中，直达声能量最大，反射声能量在传播过程中被空气和反射材料吸收而逐渐减小，一般将声源停止发声后声压

46、级减少 60dB 所需要的时间定义为混响时间。对于听感来说，适度混响时间能够提升听感，过短的混响时间会导致声音听起来发干，而过长则会导致声音听起来含混不清。根据到达麦克风时间的早晚，可以将混响分为早期混响（晚于直达声 10-50ms）和晚期混响（晚于直达声 50ms 以上），晚期混响会降低 ASR 系统的性能，因此需要对晚期混响进行抑制。目前的去混响方法主要分为以下几类：1.基于波束形成的方法 这种方法通过设计指向目标说话人方向的波束，抑制来自其他方向的声音，从而实现对混响的抑制。2.基于逆滤波的方法 混响的产生可以建模成由原始语音和房间脉冲响应（RIR）卷积得到，从而可以用矩阵乘法来表示。通

47、过计算卷积矩阵的逆矩阵，从而实现去混响。但实际情况中，由于 RIR 是未知的，卷积矩阵也就无法获取。针对这个问题，有两种盲逆滤波的方法：一种方法是先进行盲 RIR 估计再逆滤波。然而盲 RIR 估计到目前为止尚未有一个令人满意的解决方案，因此这种方法去混响的性能有限。另一种方法是直接估计逆滤波器，研究表明，基于多通道线性预测（MCLP）思想的盲逆滤波能够实现较好的去混响效果。MCLP 的基本思想是将当前时刻的信号建模成过去时刻的信号的线性预测与直达信号的和，通过估计线性预测矩阵，可以从当前时刻的信号中减去过去时刻的信号的线性预测实现去混响。考虑到实际语音的特性，有研究提出了加权预测误差（WPE

48、，Weighted Prediction Error）10方法，在 MCLP 的基础上引入了预测延迟，并将语音建模为时变联想智能语音技术白皮书 20 高斯分布（TVG，Time-Varying Gaussian），用过去时刻的信号估计当前时刻信号中的晚期混响并减去，实现了较好的去混响性能，这一方法在很多去混响方案中得到了广泛的应用。考虑到WPE 在计算中需要多次迭代估计信号统计量，有研究提出了使用神经网络估计代替 WPE 中的迭代估计，进一步提高了 WPE 的速度和性能11。3.基于神经网络的方法 近些年来，完全基于神经网络的去混响方法也有了快速的发展。这类方法的基本思想是通过神经网络学习从混

49、响语音的频谱到无混响语音或只含早期混响的语音的时频掩蔽或频谱的映射关系。基于这样的思想，在输入特征、网络结构、损失函数等方向有了越来越多广泛且深入的研究，这些研究中提出的改进都获得了更好的去混响性能。联想语音解决方案中去混响模块是基于 WPE 的方法，通过对设备在各种实际环境下的进行性能调校，实现了更加稳定、鲁棒的去混响效果，实现流程如图 3-10 所示：图 3-10 联想语音去混响算法流程图 混响语音提取频谱特征后，首先估计功率谱，更新滤波器，得到晚期混响的估计，之后对晚期混响进行抑制，再进行时频反变换得到去混响语音。后续功率谱通过去混响后的频谱进行更新。WPE 方法对语音失真小，在混响环境

50、下能够有效提高 ASR 系统的识别准确率。联想智能语音技术白皮书 21 3.1.7 语音分离 在嘈杂的室内，不同人的说话声，噪音，音乐声，以及混响等同时存在，人能够从这些混合的声音中听懂所关注的内容，这就是语音信号处理领域中著名的“鸡尾酒会”问题。语音分离技术就是围绕这一问题而发展的。语音分离方法常用的有以下几类：1.基于独立成分分析（ICA，Independent Component Analysis）的方法 假设各个声源之间相互独立且服从非高斯分布，且源自各声源的声音是线性瞬时混合的，ICA 通过利用信号的统计独立性实现各声源的分离，例如可以对混合信号做变换，使其非高斯性达到极大，则每个局

51、部极大值对应一个独立成分。常用的非高斯性度量有峭度和负熵。实际情况中，由于语音是宽带信号，且各种声音之间不再是线性瞬时混合，而是有时间延迟的卷积混合，因此常常会在频域上各频点应用 ICA 分离。考虑到分离后的结果会存在不同时间分离得到的各声源的成分排列顺序不一致的问题，有研究对 ICA 进行了扩展，提出独立向量分析（IVA，Independent Vector Analysis）方法，将所有频率成分建模为随机向量变量并同时进行处理，避免了排列问题。通过引入辅助函数，IVA 可以扩展为 AuxIVA 方法，能够进一步提高收敛速度和分离性能。此外，IVA 也可扩展为 OverIVA 方法，以实现麦

52、克风数量大于声源数的情况时的分离。2.基于深度学习的方法 近些年来，基于深度学习的语音分离方法发展迅速。早期大多数方法与基于深度学习的噪声抑制方法类似，通过短时傅里叶变换将时域信号变换到频域信号，用神经网络从混合语音的幅度谱中估计各个声源的幅度谱或时频掩蔽。针对分离结果中存在的“置换问题”，有研究提出了深度聚类方法（Deep Clustering），使用基于亲和力的目标函数来保证说话人的顺序不变，也有研究提出了“置换不变训练”（PIT，Permutation Invariant Training）来解决这一问题。不同于在频域上的实现语音分离，最近越来越多的研究提出了基于时域的端到端解决方案。联

53、想智能语音技术白皮书 22 有研究提出了 TasNet，采用编码器-解码器结构替换了频域方法中的短时傅里叶变换，避免了幅度谱和相位谱的解耦，进一步提高了分离性能。在 TasNet 的基础上，有研究提出了 Conv-TasNet，用 CNN 替代了 LSTM，提高了模型推理速度并降低了模型参数量。此外，也有将 transformer 应用于语音分离的研究。联想的语音分离方案是在语音分离的基础上，针对会议场景下设备端用户个性化应用的需求实现的目标人语音分离技术。基本流程如图 3-11 所示：图 3-11 联想语音分离算法流程图 网络结构基于 DCCRN，语音经过编码层后得到 bottleneck

54、特征，目标人参考语音经过相同结构但不同网络权重的编码层得到目标人的声纹特征，两种特征拼接后，经过 LSTM 层和解码层，得到分离后的目标人的语音。该方案具有较好的分离性能，同时具有一定的降噪性能。3.23.2 语音唤醒语音唤醒 语音唤醒（Voice Trigger）也称唤醒词检测（Wakeup Word Detection）或关键词定位（KWS，Keyword Spotting），可以看作语音识别的子任务。唤醒词识别是在连续音频流中检测预定义的一个唤醒词或一组关键字，同时给出目标唤醒词时间戳的技术12，唤醒技术描述如图 3-12 所示。联想智能语音技术白皮书 23 图 3-12 语音唤醒技术说

55、明 传统的唤醒系统根据音频得到唤醒词的关键信息，从而完成识别功能。训练流程如图 3-13所示。首先使用大量唤醒词和自由文本的音频来训练一个针对特定词的唤醒词识别系统。然后依据训练好的系统计算采集的音频流内唤醒词存在的概率，通过与设定好的阈值进行比较来决定是否唤醒。这种系统具有结构简单、参数较少、计算快速、准确率高、鲁棒性高等优点，我们称这种架构为小尺寸唤醒词识别系统。图 3-13 小尺寸唤醒词识别系统 除 了 常 用 的 小 尺 寸 唤 醒 词 识 别 系 统 外，基 于 样 例 的 口 语 词 检 测（QbESTD，联想智能语音技术白皮书 24 QuerybyExample Spoken T

56、erm Detection）1314 也被广泛使用。通常会先使用大量非唤醒词音频训练一个深层特征提取网络。依据这个特征提取网络来得到有限数量的唤醒词音频的深度特征，最后用这个特征提取网络在实时采集的流式音频中提取特征，采用特定规则构建解码手段来得到唤醒的结果。这种方法的优势在于能够应对各种复杂的语言场景，较为灵活，泛用性高。另一种常见的唤醒词识别系统根据所给文本来完成唤醒功能，用户只需提供唤醒词的文本信息而且不限定唤醒词，整个唤醒系统不依赖于唤醒词音频。大部分文本定义的唤醒词系统是基于语音识别系统的基础进行适当修改得到的15。选用语音识别系统得到实时音频的词格解码结果，将识别所得的状态级词格转

57、换为含有时间戳信息的词语级词格，最后与关键词的 FST（Finite State Transducer）结构进行组合，便可得到唤醒词在被检索语音出现的位置和概率。整个唤醒词系统都是基于语音识别系统进行计算的，所以整体模型尺寸和计算复杂度都要高于小尺寸唤醒词系统，功耗也更大。但是同样是因为基于语音识别系统，该框架的准确率最高，因此适用于精度要求较高的场景。联想两阶段语音唤醒系统 联想针对语音在 PC、手机、IOT 设备上的应用，既要保证算法的准确率，又要兼顾模型计算复杂度，以保证快速响应和低功耗，因此基于小尺寸模型框架设计了两阶段唤醒策略。如图 3-14所示：联想智能语音技术白皮书 25 图 3

58、-14 联想语音唤醒模型结构图 此系统由两阶段唤醒流程组成。在模型训练时，两个阶段唤醒模型分别进行优化，训练流程如图 3-15 所示。图 3-15 联想语音唤醒模型训练流程 在模型推理部分，使用少量计算资源来运行一个非常少量参数构建的唤醒词识别模型。当分数超过阈值时，调用稍大的计算资源来运行第二阶段的唤醒词识别模型来完成最终的唤醒词识别判决。两个唤醒模型的阈值选择遵从“第一阶段唤醒模型尽可能正确判断非唤醒，第二阶段唤醒尽可能正确判断唤醒”的原则，具体选择如图 3-16 所示：联想智能语音技术白皮书 26 图 3-16 联想语音唤醒阈值选择策略 上图为两个阶段模型性能曲线，横轴代表每 100 小

59、时的误唤醒次数，纵轴代表错误拒绝率。模型取不同阈值即可得到一组横纵坐标，最终得到性能曲线。对于一阶段唤醒模型来说，由于参数较少，性能相比二阶段唤醒模型较差，所以一阶段模型性能曲线整体在二阶段模型性能曲线的右上方。选择阈值时，一阶段模型尽可能选择误唤醒次数较高但错误拒绝率较低的阈值，以保证尽可能正确判断非唤醒。因为大部分的非唤醒已经被一阶段模型过滤掉，提交给二阶段模型的音频均和唤醒音频相似，对于二阶段模型，我们选择错误拒绝率较高但误唤醒较低的阈值，以保证尽可能正确判断唤醒。这样两阶段的唤醒模型既保证了快速拒绝非唤醒，又保证了正确唤醒，实现了快速、正确的响应机制。3.33.3 语音识别语音识别 语

60、音识别（Speech Recognition）是把语音转成文字的过程，通过模型计算将语音序列转化为文本序列，即给定输入序列=1,，寻找词序列=1,，使得概率(|)最大，用贝叶斯公式表示为：联想智能语音技术白皮书 27 (|)=(|)()()其中(|)为声学模型（AM，Acoustic Model），求解给定词时声学输入的概率()，为语言模型（LM，Language Model）计算词的概率，()为输入序列概率，固定不变。语音识别就是要优化声学模型(|)和语言模型()，使得(|)最大。目前主流的语音识别框架包括混合架构和端到端架构两种，混合语音识别对两部分分别进行优化，基于端到端的语音识别将两部

61、分进行联合优化，直接求解最优的(|)，下面对上述两种不同的语音识别框架进行介绍。3.3.1 混合架构语音识别系统 在语音识别过程中，通过声学模型将语音特征转化为建模单元（一般为音素），然后通过语言模型将一系列建模单元转化为完整一句话，这种声学模型和语言模型分开训练优化的系统称为混合语音识别系统。图 3-17 展示了混合语音识别系统的识别流程，下面将具体介绍识别系统中两个最重要的部分：声学模型和语言模型。图 3-17 混合语音识别系统解码流程 1.声学模型 声学模型是语音识别系统中的重要组成部分。声学模型将声学和发音学的知识进行整合，以语音特征作为输入，为可变长特征序列生成其对应的建模单元序列的

62、概率分布。通过声学模型从特征序列得到其对应的概率最大的建模单元序列，然后通过语言模型将建模单元序列转换为概率最大的文本序列，即得到最终的语音识别结果。不同的声学模型可以对语音进行不同粒度的建联想智能语音技术白皮书 28 模，常用的声学模型建模单元主要有词、子词、音素，其中音素是构成音节的最小单位或最小的发音片段，每种语言的发音都可以用音素组合表达出来，所以声学模型中一般采用音素作为建模单元。在混合语音识别系统中，声学模型主要采用的是“用于序列跳转的隐马尔可夫模型（HMM）“和”根据当前帧来预测状态的深度神经网络（DNN）”混合架构。图 3-18 基于 DNN-HMM 的语音识别声学模型结构 图

63、 3-18 即为 DNN-HMM 混合系统的声学模型结构。在该结构中 HMM 模型用来描述语音信号的动态变化，DNN 用来估计语音特征的观测概率。在给定声学观察特征的条件下，用 DNN的每个输出节点来估计 HMM 的某个状态的后验概率。DNN 中可以通过更换或者组合不同的神经网络结构来更好地描述语音特征，比如可以通过 CNN+LSTM 的结构来更好地捕捉语音中的时序信息。除此之外，DNN-HMM 模型可以通过维特比（Viterbi）算法进行训练和解码，非常高效。2.语言模型 语言模型描述的是在句子中词与词之间的转换概率，一般利用链式法则，把一个句子的概率拆解成其中每个词的概率之积。设W是由nw

64、ww,.,21组成的，则()WP可以拆成：()()()()()1321213121.,|.,|=nnwwwwwPwwwPwwPwPWP 每一项都是在已知之前所有词的条件下当前词出现的概率。实际使用过程中通常不会通过前面所有词的概率计算当前词的概率，而是假设每个词的概率分布只依赖于历史中最后相邻的联想智能语音技术白皮书 29 若干个词，这样的语言模型称为 n-gram 模型。在 n-gram 模型中，每个词的概率分布只依赖于前面 n-1 个词，现在用得比较多的有 tri-gram，four-gram，five-gram。3.解码器 声学模型和语言模型都训练完成之后，通过有限加权状态转化机（WFS

65、T）建立一个 HMM状态到单词的映射，即一个包含所有可能序列的状态空间，然后通过解码器来搜索找到最有可能的状态序列，使得输出的概率最大（即在声学模型得分和语言模型得分最高）。搜索主要通过维特比算法（一种动态规划算法）实现，搜索的过程叫做解码，实现解码的模块即为解码器。在混合语音识别系统中，解码器主要是基于加权有限状态转录机实现。3.3.2 端到端语音识别系统 端到端语音识别技术，是指模型根据输入的语音特征直接输出字符序列不依赖中间建模单元表示、帧级别的对齐信息和复杂的解码过程。端到端的语音识别技术简化了语音识别系统的搭建过程，近几年发展迅速并逐渐成为主流。其中，最主要的三种端到端模型结构分别是

66、 CTC（Connectionist Temporal Classification）模型、Transducer 模型和 Attention-based Encoder-Decoder 模型。1.CTC 模型 CTC 是一个计算输入语音信号和输出字符序列之间对齐信息的目标函数。对于语音识别模型，对齐是指从输入语音信号到输出字符序列的映射关系。由于语音信号和字符序列的长度通常是不相等的，语音的时间步和字符之间的对齐关系通常是多对一的。为了表示语音中的静音（即无说话人语音的片段）和连续相同字符之间的转移关系，CTC 引入了一个 blank 标签，这样便可以定义语音和标签序列之间的一个有效对齐：若一

67、个对齐路径中去除连续的重复字符和之后和标签序列一致，则可认为是一个有效的对齐。图 3-19 展示了字符序列“hello”的三种有效对联想智能语音技术白皮书 30 齐。图 3-19 CTC 解码中的有效对齐 对于一个字符序列，其关于输入语音信号的后验概率可以表示为所有该序列对应的有效对齐的概率之和。CTC 假设每个时间步的输出是相互独立的，即对一条有效对齐来说，其概率是每个时间步上概率相乘计算得到的。CTC 能够有效处理序列分类的问题，但它同时也对输入序列和输出序列引入了两个假设：条件独立性假设：CTC 假设每个时间步的输出是相互独立的。在语音识别任务中，CTC不考虑输出序列上下文之间的语义相关

68、性，通常在解码阶段需要引入一个额外的语言模型来提升识别文本的流畅度。多对一映射：CTC 假设输入序列的长度大于输出序列，即无法处理输出序列长度大于输入序列的情况。2.Transducer 模型 Transducer 模型的提出有效解决了上述 CTC 模型存在的问题，主要包括两方面的改进：1）引入了一个 Predictor 网络和一个 Joint 网络来建模输出序列之前的转移关系；2）允许每个时间步输出多个单元，使得模型能够处理输出序列长度大于输入序列的情况。图 3-20 展示了一个Transducer 模型：联想智能语音技术白皮书 31 图 3-20 Transducer 模型基本结构 Tra

69、nsducer encoder 的功能和 CTC 模型的 encoder 类似，将输入的语音信号编码为一个时序的特征序列，每个时间步的特征对应一个语音片段窗口。Predictor 网络是一个自回归的模型，它的作用类似于一个标准的语言模型，即输入是前面已经输出的字符单元，然后根据已经输出的字符生成用于预测下一个字符的特征。Joint 网络通常由一个简单的全连接网络来实现，它将encoder 和 predictor 网络输出的特征向量进行融合，并输出一个融合后的特征向量，该特征向量被映射到和输出词表（包括 blank 标签）相同的维度上并经过一个 Softmax 非线性函数转化为词表单元上的概率分

70、布。Transducer 允许每个时间步输出多个字符，有效解决了 CTC 无法处理输出序列长度大于输入序列长度的样本的问题。目前，Transducer 模型被广泛应用至流式语音识别场景，根据 encoder 的不同，模型结构可以分为 RNN-Transducer18和 Transformer-Transducer19等。3.LAS（Listen-And-Spell）模型 LAS 模型是一种基于注意力机制的 Encoder-Decoder（AED，Attention-based Encoder-Decoder）模型架构，这类模型最早在自然语言处理领域的机器翻译任务中被提出，后来被广泛应用于诸多序

71、列到序列的预测任务。语音识别任务是一个从输入语音特征序列到输出字符序列的预测任务，AED 也成为了语音识别领域的一类主流端到端模型框架。图 3-21 展示了一个 AED模型的基本架构。联想智能语音技术白皮书 32 图 3-21 AED 模型基本结构 Encoder 网络负责从输入信号中抽取特征，将输入信号表示为隐式特征向量。我们期望隐式特征向量能够包含输入信号的全局信息，并作为输入传给 Decoder 网络。Decoder 负责将 Encoder 输出的隐式特征向量翻译为输出序列。对于一个自回归的 Decoder，其在每一步输入的信息包含两部分：1）Decoder 上一步输出的隐式状态；2）根

72、据该隐式状态在 Encoder 隐式特征上通过注意力机制计算得到的特征加权和。Decoder 输出的隐式状态会被映射到标签维度，并通过 Softmax 函数计算得到标签上的概率分布。通过引入注意力机制解决了编码器无法充分保留长序列上下文信息的问题，模型的优化目标使得注意力机制为当前解码最相关的信息分配更高的注意力。AED 模型的解码是一个自回归的解码过程，每步生成的一个标签，并将前一个生成的标签作为下一步的输入。模型解码通常从一个起始字符（通常表示为）开始，至模型输出终止字符（通常表示为）结束。和传统的 Sequence-to-sequence 模型相比，AED 模型在语音识别任务上能够取得更

73、好的效果，但同时也需要消耗更多的算力。此外，注意力机制为模型带来了更好的可解释性，通过可视化模型在预测输出序列时的注意力分布，能够帮助理解和诊断模型的预测过程。联想智能语音技术白皮书 33 联想语音识别系统 目前联想的语音识别系统针对不同的场景和应用分别开发了基于混合模型的语音识别系统和基于端到端模型的语音识别系统。1.混合语音识别系统 联想基于混合语音识别模型搭建了云端的语音识别引擎，图 3-22 展示了整个识别链路：图 3-22 联想混合语音识别系统 为了更好的用户体验，语音识别系统除了基础的语音识别还需要加入其他模组进行联合优化得到最终的识别结果。联想的混合语音识别系统在前端、后处理、热

74、词响应、声学模型等方面都做了大量优化工作，具体来说有以下几方面：海量数据优化通用场景下的语音识别。本系统语言模型基于TB级语料迭代，不同领域、多种来源的语料可以使模型在通用场景下达到稳定可靠的识别效果，对于新领域也可以做到快速适配和迭代。支持中英混识别。本系统的声学模型采用国际统一音标，可以记录大多数国家的语言的音素。同时，联想针对中英文常用词汇建立了完善的发音词典，构建的中英混合识别系统有效解决了诸多应用场景中语音出现的 code-switching 问题。支持一句话短语音识别，也支持连续长语音实时识别；既支持在线识别模式，也支持离线文件识别模式。通过使用不同的深度神经网络结构来适应不同应用

75、场景和需求。联想智能语音技术白皮书 34 支持用户热词（Hot Word），以提高目标场景专有名词召回率。热词技术方案并不需要训练语言模型，可实现快速更新和生效。2.端到端语音识别系统 除了混合识别框架，联想也开发了基于端到端的 two-pass 语音识别系统，系统结构如图 3-23 所示。图 3-23 联想端到端语音识别系统 语音首先经过共享编码器抽象成为深层特征，然后一条链路将每个时间步的输出依次传给RNN Transducer 解码器，RNN Transducer 可以实时地输出识别结果；另一条链路在整条语音解析完成后，将全部输出传给附加编码器，附加编码器进一步抽取特征将输出传给 AED

76、 解码器，AED 解码器因为看到了整条语音的信息可以更好地识别语音，所以可通过 AED 的结果来进一步对 RNNT 的输出进行重打分，这就是 two-pass 的链路。联想端到端语音识别系统具备以下优势：体积小，效率高，便于部署。RNN-T 较为轻量，可以不需要语言模型直接识别出结果，可以很好地部署在端侧。一个系统同时实现流式与非流式识别，无需格外训练。RNN-T 可以实时输出识别结果，联想智能语音技术白皮书 35 同时通过 AED 的重打分也可以进一步对 RNNT 的结果进行纠正，从而获得准确率更高的非流式识别结果，用于离线文件识别、会议纪要等场景。3.43.4 语音合成语音合成 语音合成（

77、Speech Synthesis），也被称作 Text-to-Speech，是一种将文本转换为语音的技术。它使得机器可以拥有像人一样自如说话的能力，是人机语音交互中的重要一环。基于深度学习的语音合成技术因其自然度较好，是现在商用合成系统的主力框架，主要结构如图 3-24 所示。系统由三部分构成：文本前端、声学模型和声码器。文本前端负责将输入的文本规范化、字形序列转换为声韵母或音素序列、添加韵律信息，最终生成包含语言学特征的序列并输入到声学模型中；声学模型将该语言学特征转换为声学频谱特征；声码器将该频谱特征重建为时域波形，得到最终的语音。图 3-24 基于深度学习的语音合成技术框架 1.文本前端

78、 文本前端将输入的文本转换为包含语言学特征的序列，通常由三个模块组成：文本预处理模块、G2P(Grapheme-to-Phoneme)模块和韵律预测模块。文本预处理模块将输入的文本做一些正则化处理，将阿拉伯数字、单位符号和其他特殊符号转成发音文字。例如：输入“温度 15-35”，输出“温度十五到三十五摄氏度”。它是文本前端的难点，目前主流方法仍然是基于规则的方法。G2P 模块负责将字形序列转换为声韵母或音素序列。转换出的序列单元代表了后续声学模型的建模单元。对于中文而言，可以使用声韵母或音素作为建模单元，一般会将韵母或元音音素后添加音调，如：韵母 ao1，元音 AW1。G2P 的转换过程涉及多

79、音字预测和变调处理。很多语种联想智能语音技术白皮书 36 中都含有多音字，例如中文中，“早晨的朝（zhao1）阳”和“朝（chao2）阳区”中的“朝”字，字形相同，但发音不同，多音字预测一般采用多音字词典结合模型预测的方式。变调处理包括三声变调、“一”、“不”变调、轻声变调、儿化音变调等。变调处理一般采用基于规则的方法。韵律预测模块负责预测出文本中的韵律特征。根据停顿时间从长到短，韵律特征可以分为以下几个层级：语调短语、韵律短语、韵律词。韵律预测通常采用分词结合模型预测的方式进行。2.声学模型 声学模型将语言学特征序列转换为声学频谱特征。语言学特征序列通常为包含韵律特征的声韵母或音素序列，声学

80、频谱特征通常为线性频谱或梅尔频谱。声学模型通常也由三部分组成：编码器、对齐模块和解码器。图 3-25 声学模型框架 如图 3-25 所示，语言学特征序列输入到编码器得到隐状态序列，经由对齐模块后输入到解码器得到最终的声学频谱序列。编码器和解码器可以由多种模型结构组成，典型结构多以 CNN,、RNN 和 Transformer 为主，例如 Deep Speech 系列20、Tacotron 系列21、Fastspeech 系列22 等。中间的对齐模块，在传统的 Seq2Seq 架构中会使用注意力机制（Attention）来进行对齐的学习，比如 Tacotron 系列的模型但由于整个模型自回归的结

81、构，导致模型推理速度较慢。另外由 Fastspeech 提出了一种非自回归的模型结构，由时长预测模型来学习音素序列与声学特征帧数之间的对齐关系，再由一个长度调节器直接将编码器得到的隐状态序列复制扩展到和声学特征相同的长度，再输入解码器中。虽然这种方式大大提高了模型推理的速度，但如何获取每个音素对应的持续帧数来训练时长预测模型仍是一个问题。有两种方法可以解决这一问题。一种是使用外部对齐：Fastspeech 从预训练的基于自回归注意力的 TTS 模型中提取对齐信息；Fastspeech2 使用一个强制对齐工具来获得对齐信息。另一种是使用内部对齐：JDI-T 采用与一联想智能语音技术白皮书 37

82、个自回归模型联合训练的方式来获取对齐信息；GlowTTS 使用 monotonic alignment search 来提取对齐信息；AlignTTS 在训练阶段利用统计特征和前后向算法得到对齐。然而，这些方法通常训练过程复杂、训练时间长或需要强制对齐工具。联想提出了一种简化有效的方式来解决这一问题，将在后续章节详细介绍。3.声码器 声码器（Vocoder）负责将声学特征还原为时域波形。基于神经网络的声码器通常是一个生成模型，有自回归模型（WaveNet,、WaveRNN,、LPCNet 等）、基于流（Flow）的模型（WaveGlow等）以及基于生成对抗网络（GAN，Generative A

83、dversarial Networks）的模型（MelGAN、HiFiGAN23等）。目前学术界和工业界大都采用基于 GAN 的模型，其中 HiFiGAN 是目前较为常用的模型。联想语音合成系统 联想语音合成系统也基于业界主流技术构建。其中，我们提出了一种不需要额外对齐的简化且有效的声学模型来解决非自回归声学模型中的对齐问题24。整个模型的结构如图 3-26 所示：联想智能语音技术白皮书 38 图 3-26 联想语音合成系统声学模型结构图 左边是一个基于 Transformer 的合成器（Synthesizer），它基于类似 Fastspeech 中的 Feed Forward Transfo

84、rmer（FFT）结构。合成器由五部分组成：Phone Embedding,Lower FFT Block,Length Regulator,Higher FFT Block 和 Linear Layer。受 Fastspeech 系列的启发，模型也采用时长预测模型为长度调节器生成时长信息，它可以扩展输入的文本隐状态序列以匹配梅尔频谱的长度。为了获得持续时间的 Ground Truth 来训练时长预测模型，我们提出了一种对齐生成器（Alignment Generator）。受到 CTC 的语音识别的启发，我们引入了一个基于 CTC 的识别模块作为内部对齐生成器，以提供梅尔谱图和音素序列的对齐信

85、息，作为时长预测模型学习的 Ground Truth。在训练阶段，损失函数由三部分组成：预测和真实值之间的梅尔谱的 MAE 损失、对齐生成器训练的 CTC 损失和时长预测模型的持续时间损失。对齐生成器仅用于训练阶段：使用前向后向算法来计算 CTC 损失；使用维特比算法找到最大似然路径作为对齐，对齐可以转换为持续时联想智能语音技术白皮书 39 间的 Ground Truth D。在推理阶段，我们只使用时长预测模型来获得长度调节器所需要的持续时间。这种不需要额外对齐的声学模型在保证了合成语音质量和推理速度的同时，大大简化了训练流程。3.53.5 副语言语音属性分析副语言语音属性分析 语音中除了语言

86、语义信息，还包含着丰富的非语义信息，如人的性别、年龄、情感、语种、健康状态、环境中声音事件以及音频场景等，可以统称为副语言语音属性。对于这些富信息(Rich information)的识别技术称为副语言语音属性分析技术，一般情况下可以采用统一的算法框架来解决通用问题。下面就以声纹识别和音频分类为典型技术进行说明。3.5.1 声纹识别 声纹识别，即说话人识别，是通过一段语音对说话人身份进行确认或辨识的技术。按照应用场景不同，声纹识别可以分为说话人确认（Speaker Verification）与说话人辨识（Speaker Identification）两大任务。说话人确认用于判断待测语音与已有的

87、注册语音是否来自同一说话人，是 1:1 的问题；说话人辨识用于判断待测语音属于语音库中哪一个说话人，是 1:N的问题。按照待测语音内容的不同，说话人确认又可分为文本相关的说话人确认与文本无关的说话人确认两大类。文本相关的说话人确认任务要求待测语音的内容为指定的语音内容，如一串数字或者特定的短语；文本无关的说话人确认任务对待测语音的内容没有限制。声纹识别的技术路线经历了从传统统计方法到深度学习方法的转变。传统的声纹识别技术包括特征提取、建模和后端分类等几个步骤，较具有代表性的是基于高斯混合模型（GMM，Gaussian mixture model）的 i-vector25技术。传统方法由于是几个

88、步骤的串联，各个步骤的优化只能在其内部进行，后端的分类结果无法对中间过程产生直接的指导作用，因此无法实现对整联想智能语音技术白皮书 40 个系统的联合优化。自深度学习蓬勃发展以后，人们开始将深度学习技术应用于声纹识别领域。基于深度学习的声纹识别技术通过深度神经网络和大量的标注数据使系统自主学习适合于分类的特征表达，非常易于实现整个系统的联合优化，在性能上也不断超越 i-vector。具有代表性的工作有 x-vector26，deep-ResNet-vector27等。i-vector/UBM-GMM/PLDA i-vector/UBM-GMM/PLDA 声纹识别系统是基于机器学习的经典声纹识别

89、系统，其构建过程如图 3-27 所示，包括语音特征提取、通用背景模型（UBM，Universal Background Model）建模、最大后验自适应（MAP Adaptation，Maximum A Posterior Adaptation）28、因子分析/i-vector 建模和概率线性判别分析（PLDA，Probabilistic Linear Discriminant Analysis）29等几个步骤。由于在实际应用中难以收集到目标说话人足够数量的语音信号来建立其对应的 GMM 生成模型，所以人们使用大量来自不同说话人的语音信号构建通用背景模型，通用背景模型可以表征人类语音中的共性部

90、分；然后使用说话人的少量音频提取声学特征，采用 MAP 自适应技术对通用背景模型进行调整，得到与说话人相关的 GMM 模型，求得该 GMM 的均值中心化超向量；由于得到的超向量维度过高，且包含了除说话人身份特征以外的信息，因此对超向量进行因子分析和降维得到可以表征说话人身份特征的 i-vector。最后利用有标注的 i-vector 训练 PLDA 模型，用于测试过程中对待测语音和注册语音的打分。图 3-27 i-vector/UBM-GMM/PLDA 声纹识别系统 x-vector x-vector 是基于深度神经网络的有监督声纹模型。如图 3-28 所示，x-vector 模型包含语音特征

91、提取、帧级别特征提取、时间维度池化层和句子级别特征提取等几个模块。x-vector 采用时联想智能语音技术白皮书 41 延神经网络（TDNN，Time Delay Neural Network）对输入的语音特征进行说话人信息的抽取；然后使用时间维度池化层对抽取的说话人特征在时间维度上求取均值和标准差，从而将不定长的特征频谱转化为定长的句子级别的特征向量；最后使用前向神经网络将句子特征进一步转化为说话人的后验概率，得到说话人的分类结果。前向神经网络第一层的输出结果即为 x-vector。相比于 i-vector，x-vector 拥有更强的表征说话人身份特征的能力。图 3-28 x-vector

92、 声纹识别系统 deep-ResNet-vector deep-ResNet-vector 也是基于深度神经网络的有监督声纹模型。如图 3-29 所示，与 x-vector 类似，deep-ResNet-vector 模型同样包含语音特征提取、帧级别特征提取、池化层和句子级别特征提取等几大模块。不同的是其采用深层残差神经网络（Deep Residual Neural Network）作为帧级别的特征提取模块。在参数量相同的情况下，深层残差神经网络的特征提取能力强于TDNN。由于 ResNet 输出为三维的特征图，在句子级别特征提取时，可以将时间维度和特征维度进行合并，使用池化层在联合维度上得到

93、均值和标准差作为句子级别的特征向量，或使用全局平均池化层实现直接降维。最后再将句子级别的特征向量输入到前向神经网络得到说话人的分类结果。前向神经网络的第一层输出即为 deep-ResNet-vector。联想智能语音技术白皮书 42 图 3-29 deep-ResNet-vector 声纹识别系统 联想芯片级声纹确认系统 目前联想在声纹识别上的研究主要以说话人确认为主。随着深度学习的快速发展，说话人确认技术已经取得了长足的进步，但多数基于深度学习的说话人确认系统对计算资源要求较高，难以应用于如手机、电脑等计算资源有限且要求低延迟的终端设备。联想为 PC 上的声纹唤醒 AI Chip 提出了面向

94、轻量级应用的非对称“注册-确认”说话人确认方案30，如图 3-30 所示。通常情况下，说话人确认系统均为对称式系统，即在用户注册阶段和使用阶段均用同一模型提取声纹特征，这使得研究者只能开发规模较小但性能相对不足的系统来满足端侧设备的限制和需求。而非对称“注册-确认”说话人确认系统包含大、小尺度两个模型，充分利用了用户只进行一次注册且对注册过程中的延迟不敏感的特点，在注册阶段使用准确率更高但计算资源消耗较大的大尺度模型提取并保存用户的声纹特征，在后续的使用过程中，用小尺度模型从待测语音中提取说话人的声纹特征用于身份验证。联想智能语音技术白皮书 43 图 3-30 联想非对称注册-验证说话人确认系

95、统 具体地，在系统的训练阶段，从语音中提取的声学特征被同时送入大尺度与小尺度模型，两个模型均用分类损失函数进行优化，并在大、小尺度模型提取声纹特征的网络层后增加额外的损失函数来减小两声纹特征间的差距。在系统的推理阶段，大尺度模型仅用于说话人的初始语音注册，小尺度模型用于从待测语音中提取声纹特征，然后进行打分判别。该系统中使用的大尺度模型为 ECAPA-TDNN31，小尺度模型为基于 ECAPA-TDNN 采用减小特征图大小和可分离卷积等方法得到的轻量级 ECAPA-TDNNLite。在未使用非对称式结构训练的情况下，相比于现有的轻量级说话人确认网络，ECAPA-TDNNLite 在同等计算量下

96、取得了更低的等错误率（EER，Equal Error Rate）和更快的推理速度。在采用非对称式的系统结构后，EER 得到了进一步的降低。这种非对称式的系统结构取得了较好的声纹识别效果，达到了性能与计算资源需求的良好平衡，满足实际落地应用的需求，为提高 IOT设备的性能提供了新的解决思路。联想智能语音技术白皮书 44 3.5.2 音频分类 声音分类技术是对音频相关的分类任务的统称，目的是从输入音频数据中获得任务所需的分类标签，输出对应的声源类别和存在时间等信息，在多媒体分析与检索、音频监控、智能辅助驾驶、智能安防等应用领域有广泛的应用前景。按照音频分类输入音频数据的不同，又可以细分为语音分类、

97、音乐分类、声源分类等多种应用类型。随着深度学习技术的迅速发展，基于深度神经网络的有监督学习方法在音频分类性能上大幅超越了传统的机器学习方法，成为目前学术研究和工业界落地的前沿和热点。图 3-31 声音分类有监督学习流程图 基于深度学习的音频分类算法是目前声音信号分析与分类的主流方法，模型框架如图 3-31所示32，分为模型训练和模型测试两个阶段。在模型训练阶段需要对训练数据集的音频波形文件进行声学特征提取，获得模型训练所需的输入特征表达，常用的声学特征包括音频幅度谱（Magnitude）、对数梅尔谱（Log-mel spectrogram）、梅尔频率倒谱系数（MFCC）等。同时，需要对标注信息

98、进行数据预处理，得到模型训练目标的向量表示。对于音频分类任务，一般在模型的输出层通过 softmax 映射为不同类别概率构成的多维向量，向量长度和音频分类数量相同，对应的训练目标使用 one-hot 向量表征。对于帧级别（Frame-level）的分类任务而言，还需要对联想智能语音技术白皮书 45 不同声源出现的时间帧信息进行区分，生成二维训练目标。在模型测试及部署阶段，对测试音频文件或数据流进行特征提取后，将特征送入训练好的声学分类模型，输出对应的帧级别或句子级别的分类结果。联想定制化音频分类系统 虽然目前的声音分类算法已经在开源数据集上取得了很好的分类性能，但在实际落地应用时仍然面对实际声

99、学环境复杂、声音信噪比低、声源互相重叠干扰情况严重等问题，导致实际分类性能受限。另外，由于声音分类算法的应用场景广泛，不同场景间使用的数据、模型和计算量需求相差较大，因此使用单一数据集和单一模型并不能满足在广泛应用场景下的业务需求。联想结合客户实际业务需求，采用自研的音频预处理训练部署框架，实现用户音频分类的定制化任务，可以满足不同场景和计算量需求的音频分类任务，提高特定场景下的分类性能。同时联想音频分类框架还提供预处理模型，支持对大量无标签音频数据进行聚类和预标注，支持主流音频分类模型的训练和优化，在 Audioset、ESC50、DCASE 等开源数据集上达到业界领先水平。通过与联想 AI

100、 Master 平台 Letrain 框架进行集成，支持在 x86 平台上进行离线部署和业务落地，其开发流程如图 3-32：图 3-32 联想声音分类开发流程 数据准备 用户创建项目并结合业务需求上传数据集，使用大规模数据集预训练分类模型对无标签数据集提取句子级别的向量表征，进行无监督聚类和预标注，由用户对数据集进行确认和筛选，并对数据进行特征提取。模型训练 用户选择所需模型进行训练，模型训练支持基于预训练模型的微调（Fine-tuning）和重新训联想智能语音技术白皮书 46 练（Training from scratch）两种模式以及对应的参数配置，分类模型采用业界主流的基于 CNN和 T

101、ransformer 的两类模型结构，可以针对不同类别和计算量需求调整模型结构和参数量，满足实际应用需要；对于 Transformer 结构普遍存在的计算需求大的问题，采用了最新的级联式Transformer 结构，将模型参数量降低了 50%以上。模型评估 模型训练完成后，可在线评估模型在测试集上的分类性能指标和生成评估报告，同时支持可视化展示。模型部署 模型确定后，可以通过下载服务器端 SDK，将模型以离线 SDK 的方式部署到 x86 服务器端并接入相关服务，供用户在实际生产环境调用，以快速简洁、无代码编程方式实现技术落地。联想定制化的音频分类训练框架可以更好地满足用户对于不同任务场景、不

102、同数据集分布、不同分类类别和不同计算量的音频分类需求，而且基于预训练模型进行微调的训练模式可以结合预训练模型参数和用户实际需求场景数据的特征分布，实现更好、更快、更强的模型训练过程，大大减少了模型训练所需时间成本，为云端训练与端侧部署相结合的解决方案提供了良好的范例。3.63.6 说话人日志说话人日志 说话人日志（SD，Speaker Diarization）是按照说话人身份给出一段音频中不同说话人讲话时间戳标记的技术，即解决“谁在什么时候说话（who spoke when）”的问题。该技术不需要提前进行说话人注册，也不需要预知音频中所包含的说话人数量，给定一段音频即可给出各时间片段对应说话人

103、的身份标签。说话人日志技术在日常生活中有着广泛的应用场景，如：1）进行音频归档：通过说话人日联想智能语音技术白皮书 47 志系统得到带有说话人身份标签的时间戳后，可以按照身份标签对音频进行切割和归类，从而能够从会议、电话对话等类型的自然口语交谈数据中构建各个说话人的音频档案；2）做多人语音识别的前端：语音识别研究面向单人音频，在存在多人讲话的音频中，语音识别的准确率会明显下降，说话人日志系统可以将语音按说话人区别开来，分别执行语音识别流程，从而提升多人场景下语音识别的准确性。目前主流的说话人日志系统由多个独立的子模块组成，如图 3-33 所示。主要包括语音活动检测（SAD）、音频片段分割（Au

104、dio Segmentation）、声纹特征提取（Speaker Embedding Extraction）、相似度估计（Similarity Measurement）和聚类（Clustering）。图 3-33 说话人日志流程图 语音活动检测 语音活动检测用于区分一段音频中的语音与非语音段。语音活动检测模块包括声学特征提取和分类器两部分。常用的声学特征有过零率（Zero Crossing Rate）、基音（Pitch）和梅尔频率倒谱系数（MFCC）等。分类器通过提取的声学特征判断当前音频片段中是否包含语音。目前各种深度神经网络已开始用于语音活动检测，如长短时循环神经网络（LSTM）、深度残差

105、神经网络（Deep Residual Network）34 等，在性能上大大超越传统统计方法并成为主流。音频片段分割 音频片段分割模块将进行语音活动检测之后得到的语音区域按照一定的准则进行切分，使得切分后的每个语音片段中只包含一个说话人。切分的方法通常分为基于说话人转折点检测的分割和均匀分割两类。早期的说话人日志系统采用基于说话人转折点检测的分割方法，可通过贝叶斯准则检测音频中说话人发生转变的节点，以此作为语音片段分割的边界。但这种方法检测精度不高，一旦漏检对后续步骤影响很大；而且这种方法得到的片段长度通常不连续，变长因素的联想智能语音技术白皮书 48 影响也会降低后续模块对说话人表征的准确性

106、。因此现已多采用均匀分割方法，即用长度固定的滑动短窗对语音进行切分，窗长通常为一到两秒，可以近似认为每个片段只包含一个说话人。声纹特征提取 声纹特征提取用于从分割得到的语音片段中提取可以表征说话人身份特征的声纹向量，基于说话人识别系统来实现，目前以 x-vector26、deep-ResNet-vector27等基于深度神经网络构建的说话人识别系统成为主流。相似度估计 相似度估计根据提取的声纹特征向量估计分割后的语音片段之间的相似度，构建相似度矩阵。常用的方法大多从说话人识别领域引入，如余弦相似度（Cosine Similarity）、概率线性判别分析（PLDA，Probabilistic L

107、inear Discriminant Analysis）等。聚类 聚类根据构建好的相似度矩阵将分割得到的语音片段进行分类，相似度高的归为一类，即属于同一说话人。常用的聚类方法有层次聚类（Hierarchical Clustering）、谱聚类（Spectral Clustering）和 K 均值算法（K-means）等。此外还有可选的前处理和后处理模块，也可以有效改善说话人日志系统的性能。前处理模块可以减小复杂声学环境带来的影响，如利用降噪、解混响等前端技术可以降低声学环境中噪声和混响对系统性能的影响。后处理模块如重切割（Re-segmentation）和系统融合（System Fusion）

108、等也可以提高系统的准确性。联想说话人日志系统 在多人对话的实际应用场景中，往往存在大量的混叠（Overlapped）语音片段，即同一时刻包含不止一个说话人的声音，从这种混叠语音中无法准确提取单说话人的声纹特征，从而影响后续距离计算模块和聚类模块的准确性，严重降低系统性能。针对混叠语音检测（OSD，Overlapped 联想智能语音技术白皮书 49 Speech Detection）问题，联想设计的模块化说话人日志系统在 OSD 模块提出了基于双说话人的特定说话人语音活动检测（TS-VAD，Target Speaker Voice Activity Detection）算法35来降低说话人日志错

109、误率，提升系统性能。系统流程图如图 3-34 所示。在语音活动检测、相似度估计以及聚类模块均使用深度神经网络的模型实现，在OSD模块采用了自研的双说话人TS-VAD模型。图 3-34 联想说话人日志流程图 语音活动检模块使用对数梅尔谱作为声学特征，ResNet34 作为前端特征提取器来得到帧级别的特征图，双向长短时记忆网络（BiLSTM，Bi-directional LSTM）和全连接层构成分类器得到每一帧语音的存在概率。说话人声纹提取模块使用 ResNet34 作为前端模式提取器，从输入的声学特征中学习帧级别的特征表达，随后使用全局统计池化（GSP，Global Statistic Pool

110、ing）层得到句子级别的特征向量，同时实现了变长输入向固定长度向量的映射，最后使用全连接层进行深层特征提取得到固定维度的声纹特征向量。在相似度估计模块，常用的余弦相似度和 PLDA 方法均存在各自的局限性。余弦相似度只能顾及两个向量之间的夹角大小，忽略了训练数据的统计规律和先验知识。而 PLDA 尽管充分利用了训练数据的统计规律，但忽略了在说话人日志领域中邻近向量高度相关的先验信息。联想说话人日志系统充分考虑到上述局限，设计了基于 LSTM 的相似度估计模块，采用向量和序列的打分策略代替常规的向量和向量之间打分的方法，计算从长音频中提取的每一段声纹向量与完整序联想智能语音技术白皮书 50 列之

111、间的相似度得分。得到相似度矩阵之后，采用复杂度较低、对样本分布适应性相对更强的谱聚类方法对其进行聚类，得到初步的日志结果。双说话人 TS-VAD 模型用于进行混叠语音活动检测，模型如图 3-35 所示。系统将双说话人对话语音与一般多人对话语音进行混叠，提取混叠语音的声纹特征向量作为模型输入，模型输出为双说话人对话语音的活动检测结果。在推理阶段，选择长音频中讲话时长最长的 N 个说话人两两组合，得到(2)对说话人的声纹向量，依次送入训练好的模型得到混叠区域的检测结果，将预测概率高于设置阈值的区域标签进行更新，得到最终的说话人日志结果。N 的大小根据具体数据确定。该双说话人 TS-VAD 方法对长

112、音频中说话人个数没有限制，并且能够准确检测到包含任意两说话人的混叠语音区域，对其标签进行更新，显著提高了说话人日志系统的性能表现。该系统在 VoxCeleb Speaker Recognition Challenge（VoxSRC）2021 36说话人日志赛道取得第一名。图 3-35 联想双说话人 TS-VAD 模型 联想智能语音技术白皮书 51 3.73.7 英语英语发音评估发音评估 在外语学习中，为了帮助学生更好地了解自己的实际发音水平，发音评估技术应运而生。通过将学生的发音在准确度、流利度等方面进行综合评估，对学生的发音进行打分，为后续发音诊断提供重要依据，快速帮助学生提升口语发音水平。

113、发音评估技术以语音识别技术为基础，通过对语音识别模块的调整和改进，从语音中提取表征发音信息的特征，通过发音模型的训练和识别后，根据打分对发音水平进行评估。基本流程图如图 3-36：图 3-36 发音评估基本流程图 在训练过程中，从训练语料中提取发音特征用于模型训练，得到发音模型。在评估过程中，测试语音通过前端处理提取发音特征，与发音模型进行匹配后给出打分，通过打分结果对发音水平进行评估。联想发音评估系统 联想在发音评估上采用 GOP（Goodness of Pronunciation）算法，并在解码网络、打分模型、解码结果对齐和发音特征四个方面进行了改进。流程图如图 3-37：联想智能语音技术

114、白皮书 52 图 3-37 联想发音评估系统流程图 在训练阶段，从大量的标准发音语音训练数据中提取特征进行模型的训练，生成标准发音模型，我们也称为 Golden 模型。在评估阶段，待评测语音通过预处理和特征提取，借助标准发音模型、专家评分库和现场录音语音库的信息与参考文本进行发音内容确认和发音得分计算，输出评测分数、评测等级、错误检测和诊断反馈等评估结果。由于学生在朗读过程中难免会出现重读漏读等情况，所以强制对齐的方法会导致单词的时间点不准确，从而影响发音得分特征 GOP 以及语速的计算等。我们借鉴 N 元文法，引入回退状态，将回退状态和表示各个词汇的状态相连接。通过此解码网络的优化使系统性能

115、显著提升，与单独使用 Unigram 相比，句错误率下降了 40%以上。识别结果与参考文本的对齐一般采用编辑距离的方法，但是标准的编辑距离计算中，三种编辑错误插入、删除、替换的权重相同，这样有可能导致对齐的错误。我们对替换错误按照字母的时长进行加权，能够很好地缓解对齐错误的问题。标准 GOP 算法使用音素解码器得到分母音素序列的结果，但是音素解码的精度不高，结果不可靠，因此在联想发音评估系统中采用了 F-GOP（Force-alignment GOP）算法进行改进，在联想智能语音技术白皮书 53 分母计算中选取与对应分子音素相同的时间片段进行计算，可以提升特征提取的准确性。在打分模型选择上，采

116、用 10%容错一致度作为评价标准，同时采用 GOP 均值和标准差、语速、元音时长占比和正确读出单词占比等作为打分特征，分别在完整度、流利度、发音和总体评价四个评分维度上，对 logistics regression、SVM、MLP classification、linear regression 和 MLP regression 五种打分模型进行实验，综合确定 MLP regression 性能最佳，选为最终的打分模型。联想智能语音技术白皮书 54 4 联想智能语音服务平台 4.14.1 服务平台服务平台整体架构整体架构 联想研究院基于自研智能语音核心技术开发的智能语音服务平台，不仅支持联想内

117、部各种产品和设备上的语音应用，同时赋能不同垂直领域的智能化方案，如智能客服、智能会议、智慧教育等，践行联想“3S”战略。图 4-1 联想智能语音服务平台架构图 联想智能语音服务平台架构图如图 4-1 所示。网络代理层：负责承接外部语音请求转发和分发工作，采用两级分发的负载均衡机制，支持多任务、大规模、高并发的处理需求。业务控制层：作为平台的中枢负责流程控制、资源管理和业务处理，肩负了负载均衡、引擎无感切换、数据清理、定时更新、异步业务处理等各种功能。存储层：主数据库负责存储整个平台的结构化数据，如用户配置数据、技能控制相关数据；缓存数据库则用来存储和配置相关的控制业务流程的实时数据。联想智能语

118、音技术白皮书 55 4.24.2 使用使用方法方法及特点及特点 使用联想智能语音服务平台，可遵循如下步骤：第 1 步：在网站 https:/ 完成账号的基本注册并登录：第 2 步：进入服务信息页面开通相对应的服务，确定提交：短语音识别：可以将 60 秒以下的音频识别为文字。适用于语音对话、语音控制、语音输入等场景。实时语音识别：采用边上传音频边获取识别结果。可以将音频流实时识别为文字，适用于长句语音输入、音视频字幕、直播质检、会议记录等场景。语音合成：可将文字信息转化为声音信息，适用于手机 APP、儿童故事机、智能机器人等多种应用场景。第 3 步：获取 Lenovo-Key 和 Secret-

119、Key，进行接口调用操作，及相关配置。在开发资源页面，有不同编程语言的示例可供下载。联想语音服务平台提供了语音识别、语音合成、英语评测的演示页面，注册账号后也可以直接在浏览器中体验。联想智能语音服务平台具备接口简单、移植性好的特点，以 SaaS 方式为用户提供个性化的语音识别、语音合成、声纹识别、语义理解等能力，支持联想中国市场的语音产品和业务。以下为应用示例，如图 4-2 所示：联想中国市场的所有手机、平板上预装的乐语音 APP；MOTO 手机实时字幕 APP；联想手机语音便签 APP；联想应用中心（乐商店）APP 的语音搜索功能；面向平板电脑的会议录音转写软件 AI 慧记软件；联想智能语音

120、技术白皮书 56 面向会议场景的联想 thinkplus 会记软件；联想魔方客服系统的语音机器人解决方案；图 4-2 联想智能语音服务平台应用示例 联想智能语音技术白皮书 57 5 联想智能语音产品和解决方案 本章节重点讲述联想智能语音核心技术的典型应用和实践，将对核心技术的积累转化为软、硬件产品和垂直行业解决方案，以用户为中心打造高性能、个性化的交互体验，赋能行业客户的智能化转型。图 5-1 联想语音技术应用全景图 联想基于自研中文语音技术构建语音服务平台，为企业内部和外部输出语音服务能力，主要聚焦在消费业务、服务业务和商用业务几大领域。消费领域主要包括手机、平板、PC、IOT 产品等设备上

121、的语音应用，包括语音助手和声纹唤醒 AI 芯片；服务领域重点介绍联想研究院与中国区服务团队一起打造的联想电话语音客服系统；最后在商用领域主要是对智能会议系统进行介绍。5.15.1 联想联想小乐小乐语音助手语音助手 2011 年，随苹果公司 iPhone 4s 发布的语音助手 Siri 是语音助手商业化的开端，现在语音助手已经成为各种智能设备最重要的人机交互入口之一。联想在 2012 年开始投入手机语音助手“乐语音”的研发，2015 年联想手机语音助手乐语音入驻软件商店，是当时国内为数不多、支持语联想智能语音技术白皮书 58 音助手自由下载的手机厂商。乐语音基于联想自研的语音服务平台和核心引擎，

122、在中国市场的全部联想和 MOTO 品牌手机上进行预装，作为手机热门应用之一为消费者提供智能交互体验。乐语音架构图如图 5-2 所示：图 5-2 联想乐语音架构图 乐语音使用的主要唤醒词是“小乐小乐”，在一些特定设备上也支持“Hello moto”，支持应用内唤醒。除了云端识别，亦支持设备端侧离线语音识别，在断网或弱网状态下依然可以听懂用户指令。2020 年在小新平板电脑上乐语音再度升级，可支持桌面模式和多应用同时工作。作为手机上不可或缺的主要应用之一，乐语音的功能主要包括对话交互、应用操控和系统设置，支持三十多个垂类和各种主流手机 APP。用户可以通过语音助手打电话、发短信、设置闹钟和日程、播

123、放视频和音乐、信息查询、导航、闲聊等。同时与系统底层深度融合，直接通过语音命令进行系统设置，包括开关机、开启和退出应用、音量设置、清理内存等功能，让用户实现真正的“Hands free，eyes free”的交互体验。联想智能语音技术白皮书 59 图 5-3 乐语音应用特性 5.25.2 基于基于 AIAI ChipChip 的声纹唤醒的声纹唤醒解决方案解决方案 2021 年 9 月联想创新科技大会上发布了 LA2 智能嵌入式控制器，这是一款为 PC 打造的专用硬件，以运行智能算法、实现智能功能为目的。在这款芯片上通过软硬件联合优化，联想自研的基于非对称“注册-确认”框架设计的声纹唤醒算法，实

124、现了全球首款 PC，支持在关机和待机状态下采用声纹进行识别和唤醒的特性，唤醒词为“小乐，小乐”，唤醒率超过 95%，功耗降低50%以上。非对称“注册-确认”声纹识别框架是针对 AI Chip 进行的专门设计。PC 声纹唤醒的流程图如图 5-4 所示，包括注册和确认两个流程。在注册阶段，用户在开机状态下通过 Smart Engine的设置界面进行操作，按照提示朗读注册文本，这一部分运行在系统 CPU 上，模型推理一次即可生成用户声纹；在确认阶段，用户在电脑关机或者待机状态时通过说“小乐小乐”唤醒设备，此阶段模型推理是运行在 Chip 上，为了实现最佳用户体验对功耗、计算延时要求严格，受硬件计算资

125、源的限制在确认阶段无法采用过于复杂的模型结构，同时在识别性能上又要保证模型推理的高精准度。一般来说，声纹注册所用的模型和声纹确认所用的模型是同一个（即对称结构），才能保证用户声纹和模型是匹配的，而且模型越复杂精准度越高，但算力要求也更高。针对 PC上的应用方案，联想提出了非对称“注册-确认”声纹识别框架，在注册阶段利用 CPU 算力强的联想智能语音技术白皮书 60 特点运行复杂模型，得到更有区分度的声纹特征，而确认阶段在 Chip 上运行简单模型，通过改进训练算法和训练策略使得两套模型具有一致性，相较于“双小模型”的对称结构性能提升 30%。图 5-4 联想基于 AI Chip 的声纹唤醒方案

126、 联想基于 AI Chip 的声纹唤醒方案技术优势主要体现在：采用基于深度神经网络的两阶段声纹唤醒技术，唤醒模块确认用户指令是正确的唤醒词后再进行声纹比对，只有特定用户才能唤醒机器，通过两项技术相互配合可以降低误唤醒、保证安全性；与 AI Chip 深度融合，在 DSP（Digital Signal Processor）上进行特征提取部分 FFT（Fast Fourier Transform）的加速运算，在 NNEngine 上进行神经网络模型推理计算，并针对硬件特性优化网络结构、模型压缩，在性能和算力之间达到最佳平衡点，做到低功耗、高性能；唤醒模型和声纹模型联合优化，通过共享特征、共用模型算

127、子的方式降低对算力需求。5.35.3 联想智能座舱语音联想智能座舱语音解决方案解决方案 联想车计算业务重点布局智能座舱、智能驾驶和中央计算平台等核心技术的创新研发等重点领域，将联想集团技术积累与汽车智能化需求相结合，助力智能汽车产业链的高质量发展，共建智慧出行的美好未来。在智能座舱产品线，联想车计算业务将依托强大的计算和技术实力，实现智能化、场景化的多模态融合交互体验，高效连接人、车、万物的移动终端深度挖掘用户场景联想智能语音技术白皮书 61 特征，打造全新概念智能座舱系统，为驾驶者提供更加智能，更加安全便捷的交互体验。图 5-5 联想车计算展示图 智能语音是智能座舱多模融合交互的重要方式。在

128、完全自动驾驶来临之前，驾驶员在车内双眼需要紧盯路面前方、双手需要把控方向盘，语音交互是最安全、最方便的交互方式。联想在 SIOT 设备端语音助手，如 PC、平板、手机等上面的实践是智能座舱车载语音很好的起点，他们有如下相同点：技术链条 1.均包含语音硬件(Audio)和语音软件(Voice)两大块；2.处理链条相同，包含语音前处理、识别理解、资源对接、结果反馈等；3.免触免视、多模态等演进趋势相同。系统平台 1.智能座舱安卓平台与平板手机相同；2.高通平台语音硬件调校及优化路径相同；3.均为端-云融合方案。应用模式 1.与部分 SIOT 应用模式相同，热词唤醒语音助手，开始交互；联想智能语音技

129、术白皮书 62 2.均由设备操控、互联网服务等应用构成；3.交互设计、屏幕布局与平板类似。与 SIOT 设备端语音交互相比，智能座舱对语音体验的要求有所不同，体现在如下方面：使用场景及核心垂类 1.SIOT 设备控制与车载语音设备控制不同：日程闹钟应用 vs.导航音乐；2.SIOT 近讲或家居远场 vs.车载密闭带噪空间多人交互；3.相比 SIOT，车载用户位置固定，多模态交互更有优势。语音交互闭环 1.车载语音唤醒或免唤醒交互是必选项；2.平板手机 PC 可跳转三方应用网页，车载必须体验闭环；3.平板手机模式 GUI+VUI，车载必须达到免触免视体验。软硬件深度整合 1.与 SIOT 相比，

130、车载音频硬件投入更大；2.车载必须考虑声源定位、回声消除、噪声鲁棒；3.需考虑 Camera 等更多类型传感器。基于以上对智能座舱语音交互的理解，联想车载语音解决方案有两大技术组件：语音服务&SDK：提供基础的语音相关能力，如声学前端、语音唤醒、语音识别、语音合成、声纹识别、语义理解、传感器融合多模态等。车载场景化语音交互：提供面向车载场景的语音相关能力，如分音区语音交互、免唤醒多模态交互、全双工语音交互、声纹个性化交互、离在线融合、可见即可说等。该组件需要车载音频硬件的支持。联想智能语音技术白皮书 63 图 5-6 联想车载语音解决方案架构图 这两大技术组件会结合联想车计算中央计算平台和智能

131、座舱域控制器，针对智能座舱应用场景，进行端到端优化，即可以给主机厂提供方便的 HMI 适配定制能力，还能缩短项目交付周期。车载语音在联想整体智能座舱方案中的位置如下所示：图 5-7 联想智能座舱和车载语音说明 5.45.4 联想智能语音客服系统联想智能语音客服系统 联想魔方智慧客服系统（以下简称“魔方”）作为联想服务数字化转型的产物，由联想服务二十多年的经验积淀而来，智能机器人和客服系统均由联想自主研发，拥有智能机器人、在线客服、呼叫中心、工单系统、智能运营、智能质检六大功能板块，能够覆盖售前、售中、售后的全场景客户服务需求，满足复杂的业务场景，为客户提供基于业务的行业解决方案。联想智能语音技

132、术白皮书 64 2020 年，联想基于自研的、先进的语音技术开发了电话语音识别系统，基于语音识别、语音合成、声纹识别、性别识别、情绪识别等基础引擎，通过 HTTP 和 MRCP 服务接口与魔方业务系统对接，形成了完整的智慧客服解决方案。系统整体逻辑架构如图 5-8 所示：图 5-8 联想智能客服系统逻辑架构图 语音技术在智慧客服领域的应用主要包括三个方面：智能质检、智能外呼和智能 IVR。智能质检 支持静默、声调、音量和语速的检测；支持语音情绪识别；支持实时、一句话和离线语音转文本能力。智能外呼 可支持创建外呼任务及对话模型；支持人工实时监听，并无缝接入；支持实时判断用户意图，为坐席提供方案话

133、术，以及坐席端敏感词、禁语的提醒。智能 IVR（自助语音机器人）实现用户端可通过语音输入，机器人判断需求后转接入相应队列，或多次无法解答问题后自动转接人工；实现用户通过语音输入，判断问题并调取相应知识库自助回答；播报打断，可支持语音播报过程中，识别用户语音并相应停止播报。联想电话语音系统应用架构如图 5-9 所示：联想智能语音技术白皮书 65 图 5-9联想电话语音系统应用架构图 为满足客户多样化的业务场景需求，联想电话语音识别系统具有以下能力：支持 8K、16K 采样率语音 8K 采样率是传统电话信道语音传输的标准采样率。移动通信进入到 4G 以后，4G 高清语音即 AMR-WB，采样率为

134、16K，会逐步成为主流。联想电话语音识别系统可同时支持 8K 和 16K 采样率语音。支持实时转写、录音文件识别 智能质检中，短语音识别用于通话过程中表单辅助录入等场景，长语音识别用于通话过程的实时分析，录音文件识别用于离线将通话录音转成文本、并做进一步加工处理。智能外呼/智能IVR 中，短语音识别用于将用户语音转成文本、并做进一步加工处理。联想电话语音识别系统支持实时转写、录音文件识别，以满足不同场景的需求。支持双轨录音 现代呼叫中心设备多数已支持双轨录音，即可将“客户”和“坐席”的语音录在不同的声道里。联想电话语音识别系统支持双轨录音转写，并可将双轨录音中的人人对话按时间信息对齐，方便后续

135、阅读和进一步加工处理。支持静默、音量和语速的检测 联想智能语音技术白皮书 66 输出静默、音量和语速信息，可丰富呼叫中心的质检维度，并可从中进一步提炼出“客户”和“坐席”的个性化信息。支持多种音色选择 可支持适用于不同场景的多种男、女声音色，音调、语速、韵律用户可调。同时支持用户对特定文本进行发音方式配置，例如“010”可由用户指定发音为“零幺零”或者“零一零”。可扩展声纹识别 利用声纹识别技术，能够快速识别呼入者的身份，便于呼叫中心为呼入者提供最合适的服务，达到提高服务质量、提升服务价值的目的。可扩展语音情绪识别 利用语音情绪识别技术，可解决录音质检、投诉校准、客户情绪第一时间识别、客服代表

136、服务热情实时提醒等问题。提供 HTTP 接口和 MRCP 接口 联想电话语音识别系统提供的 HTTP 接口便于扩展和部署，MRCP 接口便于接入现有的呼叫中心设备。高性能和功能扩展能力 具有较高的性能，支持进行功能、容量的平滑扩容、无缝升级。定制化训练能力 定制化训练能力是指面向客户的训练师角色，在某些特定领域为了得到更好的语音识别效果，可通过不断积累与目标领域匹配的文本语料进行模型训练，形成数据、模型、业务的闭环迭代，不断提升业务领域识别准确率。语音识别定制化训练服务集成在联想魔方平台中，训练服务的后台调用流程如下图所示：联想智能语音技术白皮书 67 图 5-10 联想语音识别定制化训练流程

137、说明 用户可通过魔方平台上传目标领域的文本语料，提交模型训练请求，模型训练任务在后台运行，支持用户进行模型训练状态查询和模型管理。待模型训练完毕，用户可以通过魔方平台进行性能评估，将满足要求的模型部署到识别引擎进行应用。同时，魔方客服平台还支持语音标注、编辑、管理等功能，使用户可以自主完成系统端到端闭环迭代优化的过程，是一套自适应人工智能（Adaptive AI）平台。5.55.5 联想联想智能会议智能会议语音语音识别系统识别系统 会议是商务人士日常的重要场景，语音的记录和转写可以极大提高办公效率。基于联想中文智能会议语音识别系统，联想特别设计研发了面向平板电脑的会议录音转写软件 AI 慧记，

138、将用户双手从打字中解放出来，完全专注于当前的对话或会议。其核心体验包括：1）实时录音及转写，会话更沉浸，记录更高效；2）转写过程中自由标记，记住重要时刻；3）AI 自动排版，录音与文字分段映射联动，会话回顾更便捷，即点即听。另外，联想平板电脑对音频硬件做了针对性的调校，以提升 AI 慧记的使用效果。联想智能语音技术白皮书 68 图 5-11 联想 AI 慧记软件 针对企业用户混合办公场景的应用需求，联想 thinkplus 打造了以会议平板为核心，技术、设备和服务一体化的混合办公场景智能解决方案：图 5-12 联想 thinkplus 混合办公场景 混合办公场景解决方案中的 thinkplus

139、 会记软件，采用了联想自研的中文智能语音识别系统，通过软硬件联合调校，为用户提供高效、准确的会议录音转写功能。联想智能语音技术白皮书 69 图 5-13 thinkplus 会记软件录音转写功能 联想智能会议语音识别系统主要基于自研的复杂场景语音识别技术，针对混合会议场景进行优化，适用于演讲、会议、个人速记、访谈等需要实时语音转换的应用场景，安静场景下连续中文语音转写准确率超过 97%。根据用户需求不同，可以以一体式语音识别（单机版）或分布式语音识别（多机版）等不同产品形态为用户提供服务。与业界主流的智能语音识别产品相比，联想智能会议语音识别系统具有以下技术优势：支持语言：支持汉语普通话和中英

140、文混合两种场景 提供定制化的用户专业术语：支持按照用户需求定制专业术语库 基于超大规模的、高质量的语料库进行训练的引擎模型-数万小时级别的声学模型建模-TB 级别的语言模型建模-海量专业训练数据，包括各种场景适配数据及实网数据，保证模型的高性能 实现较高的语音识别准确率：在近场识别场景下，语音识别准确率最高可达 97%以上 支持多种应用场景：支持在便携设备、计算机和云环境中部署联想语音识别系统 支持多种音频格式：支持 WAV、MP3、MP4 等主流音频格式的音轨文件 支持自适应语音识别：支持识别带有特定口音的语音 提供端到端的优化能力：针对用户的使用场景，定制优化方案，从而进一步提升产品的使用

141、体验 联想智能语音技术白皮书 70 支持扩展超低功耗语音监听识别功能 支持扩展声纹识别的相关功能 联想语音识别系统整体架构如图 5-14 所示：图 5-14 联想语音识别系统架构图 语音数据采集 主要用于处理麦克风或语音文件提交的语音数据。该模块采集麦克风输入的实时语音数据，并将采集到的实时语音数据切分为标准的语音数据包，便于语音处理引擎对语音数据包进行识别处理。语音格式转换与预处理 主要用于进行语音格式的转换和语音识别的预处理。当收到语音文件后，该模块对语音文件进行转码和分拆处理，得到标准的语音数据包，便于语音处理引擎对语音数据包进行识别处理。语音处理引擎 主要用于识别语音。当收到标准的语音

142、数据包后，该模块会对语音数据包进行特征提取、语音解码、字典搜索等操作，然后再输出文字识别结果。文音映射 主要用于处理语音数据和识别文字的映射。该模块会将已识别的文本和采集处理后的标准语音数据包进行映射连接。通过点击输出文本中的链接，用户可以直接播放语音数据包。目前，联想智能会议语音识别系统支持一体化和分布式方式部署。联想智能语音技术白皮书 71 一体化语音识别方案 一体化语音识别方案适用于户外、工厂等特殊环境的应用场景。如图 5-15 所示，在一体化语音识别方案中，客户端和语音处理引擎都运行在台式机上，可以是笔记本、台式机或者联想迷你台式机 TinyPC。即使在没有网络的情况下，本系统也支持语

143、音识别、语音记录和语音转换等功能。当回到有网络访问能力环境后，用户可以把录制的语音文件和保存的文本文件迁移或备份到数据中心。图 5-15 语音识别系统集成一体化部署方案 分布式语音识别方案 分布式语音识别方案适用于大规模、高并发的应用场景。如图 5-16 所示，在分布式语音识别方案中，客户端运行在安装了 Windows 7 及以上操作系统的计算机上，负责语音数据的采集和语音文字转换的初步处理。同时，客户端可以将声波转换为脉冲编码调制数据，录制、播放语音文件，保存语音识别文本文件，以及进行语音文件和文本文件的快速映射。语音处理引擎运行在服务器端，负责将语音转换为文本。在服务器端，本系统支持通过语

144、音处理引擎（包括信号处理、声学模型、语音模型和解码器）将脉冲编码调制语音数据转换成文本。联想智能语音技术白皮书 72 图 5-16 终端与云端分布式部署 5.65.6 联想联想智慧教育英语智慧教育英语口语口语评估系统评估系统 进入教育信息化 2.0 时代，联想基于多年来的智能化转型实践，形成了“端-边-云-网-智”的新 IT 技术架构，将新技术方面的积累应用到教育领域，形成了一体化的联想智慧教育解决方案。联想基于自研的英语口语发音评估技术，实现了英语口语听说平台，赋能联想智慧教育解决方案，助力 K12 教育中英语口语考试和训练。随着中、高考改革新政的推进，全国各地的英语考试都在逐步采用人机对话

145、模式，评分准确度与人工相当，稳定性高于人工评卷，大大节约时间和人力成本。在英语“听说读写”四种能力的提升中，“说”的能力提升最难量化评测，因此采用 AI 语音技术的对话软件实现自动评分既可以帮助老师检验学生口语水平，又可以在平时练习中帮助学生提升口语发音和表达能力。联想智慧教育团队基于联想自研的英语口语发音打分技术开发的“联想英语听说模拟考试训练系统”（以下简称“联想英语听说系统”）是一套软硬件、平台全自研一体化解决方案，支持模拟考试、作业练习和课堂教学几大场景。联想智能语音技术白皮书 73 图 5-17 联想英语听说教学模考训练系统 发音评估系统实现对英语发音的多维度综合评价：完整度：通过英

146、文 ASR 技术将语音识别为文本，和标准文本对齐，查看该段语音是否有错读、多读、漏读。准确度：通过优化的 F-GOP 算法，获得更准确的发音质量评分。流利度：从语音中抽取多个维度特征，例如：重读、停顿、语音语调等，实现对音段质量及韵律节奏的评测。开放题型准确性：采用基于深度学习的语义抽取和文本摘要技术，评价对话、回答问题、口语作文等开放题型的内容准确性。打分系统样例如图 5-18 所示，学生根据系统提示进行针对性训练，不断提高口语水平。“联想英语听说系统”最早在北京第二十中学、山东邹城第六中学落地实践，利用听说软件完成英语模拟考试，帮助教师实现 AI 教学。联想智能语音技术白皮书 74 图 5

147、-18 联想英语听说系统口语发音评分界面 联想智能语音技术白皮书 75 6 智能语音技术展望 语音作为最自然的交互方式，承载着重要信息，语音信息的分析和处理技术会越来越深入地影响人类生活和生产活动。在需求的驱动下，随着人工智能技术的不断发展、硬件基础设施不断进步，语音技术的基础性能必将持续增强，加速其在更多领域的商业化应用。6.16.1 多模多模语音交互语音交互达到达到“类人”“类人”水平水平 语音技术是泛在计算范畴最成熟的技术之一，可以将计算融入我们的日常生活。泛在计算是一种嵌入了多种感知的计算设备，并能根据情景来识别人的身体姿态、生理状态、手势、语音等，进而判断人的意图，并做出相应反应的具

148、有适应性的数字环境。在真实复杂场景下，语音、文本、图像和视频这些模态往往同时存在，靠单一模态的技术往往不能达到和人类交互能力同等的体验，综合利用语音、文本和图像中的信息，才可以让机器更好地知道“我在哪里”、“谁在和我说”、“我要和谁说”和“我该说什么”，因此跨模态、多模态融合技术能更好理解用户、做出响应，会成为提升交互体验的关键。用户对语音交互的重要感知是听到的声音输出。在真实世界里，声音输出不仅仅包括内容，可以听出来是谁在说话，同样可携带情绪、表达思考或转折、重读强调等。通过合成有情感的语音或者特定人的声音可以让用户感受到更有温度的交互，实现“千人千面”的产品特性。目前个性化语音识别、个性化

149、语音合成、个性化语音增强及个性化语音唤醒技术已经成为研究热点，各种技术的综合应用也将大大改进人机交互的体验。随着技术的演进，我们相信未来的语音交互，将可以以假乱真，让用户有在和一个“真人”对话的感觉。联想智能语音技术白皮书 76 6.26.2 语音语音设备设备生态生态走向走向开放互联开放互联 2011 年苹果 Siri 掀起了语音助手第一次热潮，2017 年开始智能音箱成为主要驱动力、同时AI 热潮兴起。2020 年以后，国内外多个厂商主导的大型语音设备生态开始成型，语音在生活里无处不在，我们用语音查地址、查天气、开关灯、控制扫地机器人等。但是，由于协议等限制，不同品牌的设备生态无法互通，消费

150、者一旦开始使用某一品牌，后续购买就局限于该品牌，对消费者及整个行业都不利。好的现象是，2022 年苹果、谷歌、亚马逊、三星等 200 多家厂商组成的智能家居联盟-连接性标准联盟，推出了 Matter 1.0 智能家居配件标准，以后不同生态的产品有望实现互联互通。随着语音设备生态的开放互联，在智能家居、办公、车载等多种场景中，未来的语音交互基于多设备协同、指令跨设备自由流转，会给我们带来超出预期的完美体验。6.36.3 离线离线语音语音技术技术进一步进一步提升语音产品提升语音产品渗透率渗透率 受“端”侧设备算力限制，当前大部分语音算法还是以云端计算为主，如语音识别、语音合成、语义理解等，将设备端

151、采集的语音数据经过本地算法初步处理后再上传至云端进行复杂推理计算，计算结果再返回设备端进行呈现。考虑到用户隐私、网络稳定性、响应速度等因素的影响，设备端、边缘侧的离线语音处理能力成为人机交互过程中不可或缺的部分，尤其是在智能家居、车载以及高安全级别的场景下，对离线语音技术提出更高的要求。未来随着 AI 芯片和语音算法能力不断提高，语音交互必将覆盖全场景应用，实现万物皆智能。联想智能语音技术白皮书 77 参考文献 1 张筱兰，王保论.智能语音技术在教学中的应用研究：现代教育技术，2011 年：91 2 未来的语音世界 中国智能语音市场分析,德勤,2021 3 Moulines E,Charpen

152、tier F.Pitch-synchronous waveform processing techniques for text-to-speech synthesis using diphonesJ.Speech communication,1990,9(5-6):453-467.4 Zen H,Tokuda K,Black A W.Statistical parametric speech synthesisJ.speech communication,2009,51(11):1039-1064.5 2018 人工智能行业创新情报白皮书，智芽网&灼识咨询，2018 6 Park D S,C

153、han W,Zhang Y,et al.Specaugment:A simple data augmentation method for automatic speech recognitionJ.arXiv preprint arXiv:1904.08779,2019.7 Wang W,Cai D,Wang J,et al.The DKU-Duke-Lenovo System Description for the Fearless Steps Challenge Phase IIIC,Interspeech.2021:1044-1048.8 Hu Y,Liu Y,Lv S,et al.D

154、CCRN:Deep complex convolution recurrent network for phase-aware speech enhancementJ.arXiv preprint arXiv:2008.00264,2020.9 Higuchi T,Ito N,Yoshioka T,et al.Robust MVDR beamforming using time-frequency masks for online/offline ASR in noiseC,2016 IEEE International Conference on Acoustics,Speech and S

155、ignal Processing(ICASSP).IEEE,2016:5210-5214.10 Yoshioka T,Nakatani T.Generalization of multi-channel linear prediction methods for blind MIMO impulse response shorteningJ.IEEE Transactions on Audio,Speech,and Language Processing,2012,20(10):2707-2720.11 Kinoshita K,Delcroix M,Kwon H,et al.Neural Ne

156、twork-Based Spectrum Estimation for Online WPE DereverberationC,Interspeech.2017:384-388 12 Higgins A,Wohlford R.Keyword recognition using template concatenationC,ICASSP85.IEEE International Conference on Acoustics,Speech,and Signal Processing.IEEE,1985,10:1233-1236.13 Hou J,Xie L,Fu Z.Investigating

157、 neural network based query-by-example keyword spotting approach for personalized wake-up word detection in Mandarin ChineseC,2016 10th international symposium on chinese spoken language processing(ISCSLP).IEEE,2016:1-5.14 Anguera X,Ferrarons M.Memory efficient subsequence DTW for query-by-example s

158、poken term detectionC,2013 IEEE International Conference on Multimedia and Expo(ICME).IEEE,2013:1-6.15 Sun M,Snyder D,Gao Y,et al.Compressed Time Delay Neural Network for Small-Footprint Keyword SpottingC,Interspeech.2017:3607-3611.16 Hannun A,Case C,Casper J,et al.Deep speech:Scaling up end-to-end

159、speech recognitionJ.arXiv preprint arXiv:1412.5567,2014.17 Amodei D,Ananthanarayanan S,Anubhai R,et al.Deep speech 2:End-to-end speech recognition in english and mandarinC,International conference on machine learning.PMLR,2016:173-182.18 Sutskever I,Vinyals O,Le Q V.Sequence to sequence learning wit

160、h neural networksJ.Advances in neural information processing systems,2014,27.联想智能语音技术白皮书 78 19 Zhang Q,Lu H,Sak H,et al.Transformer transducer:A streamable speech recognition model with transformer encoders and rnn-t lossC,ICASSP 2020-2020 IEEE International Conference on Acoustics,Speech and Signal

161、 Processing(ICASSP).IEEE,2020:7829-7833.20 Ark S,Chrzanowski M,Coates A,et al.Deep voice:Real-time neural text-to-speechC,International Conference on Machine Learning.PMLR,2017:195-204.21 Shen J,Pang R,Weiss R J,et al.Natural tts synthesis by conditioning wavenet on mel spectrogram predictionsC,2018

162、 IEEE international conference on acoustics,speech and signal processing(ICASSP).IEEE,2018:4779-4783.22 Ren Y,Hu C,Tan X,et al.Fastspeech 2:Fast and high-quality end-to-end text to speechJ.arXiv preprint arXiv:2006.04558,2020.23 Kong J,Kim J,Bae J.Hifi-gan:Generative adversarial networks for efficie

163、nt and high-fidelity speech synthesisJ.Advances in Neural Information Processing Systems,2020,33:17022-17033.24 Zhao Z,Chen X,Liu H,et al.SPTTS:Parallel Speech Synthesis without Extra Aligner ModelC,2021 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference(APSIPA A

164、SC).IEEE,2021:864-869.25 Dehak N,Kenny P J,Dehak R,et al.Front-end factor analysis for speaker verificationJ.IEEE Transactions on Audio,Speech,and Language Processing,2010,19(4):788-798.26 Snyder D,Garcia-Romero D,Sell G,et al.X-vectors:Robust dnn embeddings for speaker recognitionC,2018 IEEE intern

165、ational conference on acoustics,speech and signal processing(ICASSP).IEEE,2018:5329-5333.27 He K,Zhang X,Ren S,et al.Deep residual learning for image recognitionC,Proceedings of the IEEE conference on computer vision and pattern recognition.2016:770-778.28 Campbell W M,Sturim D E,Reynolds D A,et al.

166、SVM based speaker verification using a GMM supervector kernel and NAP variability compensationC,2006 IEEE International conference on acoustics speech and signal processing proceedings.IEEE,2006,1:I-I.29 Kenny P,Stafylakis T,Ouellet P,et al.PLDA for speaker verification with utterances of arbitrary

167、durationC,2013 IEEE International Conference on Acoustics,Speech and Signal Processing.IEEE,2013:7649-7653.30 Li Q,Yang L,Wang X,et al.Towards Lightweight Applications:Asymmetric Enroll-Verify Structure for Speaker VerificationC,ICASSP 2022-2022 IEEE International Conference on Acoustics,Speech and

168、Signal Processing(ICASSP).IEEE,2022:7067-7071.31 Desplanques B,Thienpondt J,Demuynck K.Ecapa-tdnn:Emphasized channel attention,propagation and aggregation in tdnn based speaker verificationJ.arXiv preprint arXiv:2005.07143,2020.32 Mesaros A,Heittola T,Virtanen T,et al.Sound event detection:A tutoria

169、lJ.IEEE Signal Processing Magazine,2021,38(5):67-83.33 Chen S,Gopalakrishnan P.Speaker,environment and channel change detection and clustering via the bayesian information criterionC,Proc.DARPA broadcast news transcription and understanding workshop.1998,8:127-132.34 Wang W,Lin Q,Cai D,et al.The DKU

170、-Duke-Lenovo System Description for the Third DIHARD Speech Diarization ChallengeJ.arXiv preprint arXiv:2102.03649,2021.35 Wang W,Cai D,Lin Q,et al.The DKU-DUKEECE-Lenovo system for the diarization task of the 2021 voxceleb speaker recognition challengeJ.arXiv preprint arXiv:2109.02002,联想智能语音技术白皮书 7

171、9 2021.36 https:/www.robots.ox.ac.uk/vgg/data/voxceleb/interspeech2021.html 联想智能语音技术白皮书 80 一般法律告知 本文件是为中国大陆地区提供的产品和服务而拟定的。联想可能未在其他国家或地区提供本文件中提及的产品、服务或功能。联想可能随时停止某特定产品或服务的供应。产品和服务信息可能会被随时修改，恕不另行通知。本文件内容仅供参考，不构成联想的承诺或要约，我们将对文件内容尽合理努力进行审核，但不能排除文件可能仍然存在编辑或印刷错误。联想按“现状”提供本文件，不附带任何保证，无论是明示的还是默示的，包括适销性和适用于特

172、定用途的默示保证。如可适用法律不允许排除某些类型交易中的明示或默示的保证，则此时上述排除可能不适用于您。本文所述技术、产品及内容会不时更新，联想研究院可能会随时对本白皮书内容相应进行补充和修改，请读者关注最新版本。如有任何意见或建议等请按本白皮书提供的联络方式与我们联系。未经联想事先书面授权，任何人士不得以任何方式对本文件的全部或任何部分进行复制、抄录、删减或将其编译为机读格式，以任何形式在可检索系统中存储、在有线或无线网络中传输，或以任何形式翻译为任何文字。本文件图示及功能描述仅为说明目的提供，仅供参考，产品均以实物为准。本文件提及的某些部件、功能和特征仅用于说明目的，可能仅适用于某些特定型

173、号的产品。除非另有明确指明，否则本文件的任何内容都不是对产品具体规格和配置的描述。如需了解产品规格和配置，请查阅产品的相关规格文件或向产品销售商咨询。本文件的任何内容均不构成对联想产品保修政策的修改。提及的技术性能指标基于特定环境测得，在其他运行环境中获得的指标数据，可能会因设置和环境有差异。标称存储容量仅代表规格，因功能占用，实际可用容量低于标称值。联想智能语音技术白皮书 81 所提及的软件及互联网服务根据相关许可和/或服务协议使用。使用网络功能可能消耗数据流量并发生服务费，由网络服务商根据其标准收取。产品某些基于网络的功能可能由第三方网络服务支持，此类第三方服务包括其内容非由联想提供、保证

174、和支持，并可能随时终止或变更。使用第三方服务受第三方服务条款及隐私权政策的约束，此类条款可能与联想的规定不同，使用相关功能和服务前，请仔细阅读该第三方条款。第三方服务及其内容不受联想控制，联想对其不承担任何责任。权利声明 以下文字及徽标是联想集团所属企业的商标。联想集团所属企业的商标。“联想”、“Lenovo”提及的其他商号、产品或服务名称可能是联想或其他公司的商标并由其各自权利人拥有。版权所有2023 联想集团所属企业和/或其许可方，保留所有权利。MOTOROLA,M Logo,MOTO 以及 MOTO 系列商标系摩托罗拉商标控股有限公司的商标。Razr 系美国 Razor 公司的商标，依许可使用。