黄赟贺-听见未来探索 AI 声学硬件与 AI 应用的交互新纪元.pdf

《黄赟贺-听见未来探索 AI 声学硬件与 AI 应用的交互新纪元.pdf》由会员分享，可在线阅读，更多相关《黄赟贺-听见未来探索 AI 声学硬件与 AI 应用的交互新纪元.pdf（27页珍藏版）》请在三个皮匠报告上搜索。

1、听未来：探索 AI 声学硬件与 AI 应的交互新纪元演讲：赟贺声智科技副总裁我们正回归对话式社会01语交互是AI产品的关键形态全球涌现多家AI语公司，语是最本能的沟通段视频来源：Tenyx官Tenyx通过多LLM架构和实时语成技术，提供准确度和可扩展的语代理服务，为企业在实时性且需准确性的应场景中创造安全、灵活的语交互体验。Tenyx曾获$15M融资，并于今年9被Salesforce宣布收购，凭借Tenyx的尖端语代理技术巩固Salesforce在全球CRM市场的领导地位。图来源：XWaveForms AI，家新的频LLM公司，正在训练的基础模型，其创始曾在 OpenAI 中负责 ChatGP

2、T 语。它的标是在 2025 年发布与 OpenAI 和 Google 的产品竞争的 AI 频产品。该初创公司获得了由 Andreessen Horowitz 领投的 4000 万美元种资。AI语应具有模型技术基础和逐渐成熟的市场趋势机对话延时性端到端模型迭代C端产品全球增速B端客服场景优势创新全国个AI播客应，AI重塑知识信息获取式 如何规避户不会向AI“提问”的困境？如何脱离Chatbot形式？如何实现户嗨？AI如何新内容创作的式？消费内容是否可以由消费者决定？语模型产品新交互范式语有更的信息传递效率AI应探索思考AI语类应对全球中年户具有吸引，持续探索社交属性 “我们正处于 AI 能够理

3、解和运语，并最终可能结合视觉进多模态交互的时代”Justin Uberti （OpenAI实时 AI 项负责）观点：新的内容创作新的媒介，硬件可以成为新的媒介AI 模型时代的声学计算02远场语是常交互的前提，低延迟是流畅交互的关键声学虽为“众”物理学科，却是每次全球科技突破的关键点1876年代-电话（Telephone）1920年代-收机(Radio)1979年代-随身听(Walkman)1982年代-CD唱机(CD Player)1990年代-个电脑(PC)1998年代-MP3播放器(MP3 Player)2007年代 智能机(Smartphone)2015年代 智能箱(Smartspeak

4、er)2024年代 AI机(AI Earphone)军事领域、常活领域均有应AI声学算法聚焦复杂场景远场交互效果，关注低延迟和精度【关键点1】AI硬件（包含具身智能机器）必须抑制“噪声”问题【关键点2】声延迟少压缩到 250 毫秒以内（敏感群延迟感知30毫秒），需注重“端点检测”（语）AI模型快速发展推动声学计算新（以声分类为例）卷积神经络(CNN)：在声分类中，CNN 被泛应于提取声学特征。CNN 通过处理频谱图像（如梅尔频谱图）来分类声信号。CNN 在处理环境声和语识别具有很的准确率。递归神经络(RNN)和短时记忆络(LSTM)：RNN 和 LSTM 在处理序列数据表现优异，尤其适于捕捉声

5、信号中的时间依赖性。它们在语情感识别和说话识别中表现出。Transformer 模型通过注意机制，在声分类中展示了强的全局特征捕捉能。研究表明，基于 Transformer 的模型（如 AST）在频分类任务中取得了显著的进展。数据增强技术在提声分类模型的泛化能发挥了重要作。例如，通过时间偏移、添加噪声和改变调等法，来成更多样化的训练数据，以增强模型鲁棒性。监督学习通过利未标注数据来预训练模型，从在有限标注数据情况下提升分类性能。例如，使对学习法来学习频特征表示，能够显著提下游分类任务的效果 声学新型传感、声学阵列及芯，夯实声学基础效果和硬件成本端到端语模型为复杂的视听AI应提供低延时解决案 “

6、旧的语模式实际上只是将你的声转换为本，经过 GPT-4 处理，然后再将本转换回语。这是个有些拼凑的解决案（如左图）然，使级语模式，即端到端语模型，如GPT-4o 实际上是将户的声频分解为标记（显然，每秒频约等于三个标记），并直接通过个频特定的变换模型处理这些标记。这就是能够实现如此低延迟的原因。”图例：当前多数AI语交互服务采取的技术路径 “基于声的多模态交互，需要AI模型驱动声学算法新从提供坚实的底层技术基础”陈孝良 （中科院声学所博，声智科技创始）观点：端到端模型直接处理语，交互更“然”。通过找到类对话的细微特