YunOS让机器跟人进行口语交互（18页）.pdf

1、初敏博士iDSTYunOS让万物跟人自由口语交互数据智能时代正在来临语音识别（ASR）语音合成（TTS）声纹识别/说话人识别/语种识别/情感识别数据价值发掘智能客服阿里通信视频云ISV智能法庭语音技术促进行业变革深度学习算法和应用GPU多机多卡中间件语义分析与理解人机对话新一轮入口之争YunOS手机互联网汽车其他智能设备智能电视支付宝钱包APPs手机淘宝UC浏览器高德地图狭义语音技术数据智能时代正在来临自然交互（NUI）成为YunOS的基础能力YunOS+阿里云，架起人与互联网服务之间的桥梁Anytime,anywhere,any devices声学建模技术持续进展各种端接入都能获得一样好的效

2、果场景复杂：噪声/拾音距离/存在音乐及TTS播放干扰/单(多)麦克风录音业务需求:多唤醒词快捷唤醒/barge-in任意打断/one-shot命令直达关键技术:KWS/AEC/AGC/VAD/中远距离声学模型/噪声鲁棒性本地引擎/云端协同2015.112016.12016.32016.8DNNBLSTMCER相对下降30%LSTMCER相对下降15%DNN+BLSTM解决“零三”问题语音识别核心技术持续提升训练数据的规模、覆盖面、新鲜度对模型的效果都有很大影响建立数据回流闭环实验迭代效率决定最终的学习效果CPU cluster+GPU cluster 的混合模型训练流程2万小时语音一轮完整训练

3、一周内完成数据规模和计算效率至关重要深度学习特征准备GMM-HMM模型训练深度学习训练区分度训练特征准备区分性训练模型离线测试模型上线和真实数据的采集数据筛选和标注将人的语言形式化成机器能理解的语言SVMCNNCNN用于语音分类BLSTM用于属性抽取音乐导航高频测试集效果对比RULEB-LSTM音乐导航中长尾测试集效果对比RULEB-LSTM领域/:图分类属性抽取?domain flight_ticket intent search_flight_ticket time 下周二destination /海 airline 国航?domain:flight_ticket,intent:searc

4、h_flight_ticket,slots:airline:?,time”:”?,destination:?深度学习提升自然语言理解能力Ontology驱动的in-domain对话导导航航天天气气控控制制电电台台音音乐乐跨domain的自由对话对话的打断与恢复深度学习提升自然语言理解能力内部数内部数据据互联网互联网数据数据自自然然语语言言理理解解知识挖掘知识挖掘模型训练模型训练问问答答引引擎擎基于知识库的问答基于知识库的问答基于知识图谱的问基于知识图谱的问答答开放式聊天开放式聊天自助服务机器人 面向开发者的交互开发工具自定义新领域和数据查询DM 引擎DM ExecutorXmlTask flo

5、w scriptAction&NLGDM XML ParserXmlJSXmlJSGFNLU 引擎JSGF InterpreterNormalizeOpen-Dialogue for Developers小云 for YunOS 手机案例分享小云 for YunOS 互联网汽车案例分享Pepper powered by NUI platform案例分享 支付宝钱包应用/功能直达案例分享阿里小蜜（手机淘宝）案例分享 阿里云ET案例分享智能语音核心技术研发开发者平台（SDKAPI）客户端解决方案NUI servicesNUI 客户端引擎和SDK语音硬件解决方案语音交互生态圈（合作伙伴）互联网汽车智能手机智能电视智能音箱机器人其他智能设备NUI服务平台语音识别语音合成语言理解和对话行业解决方案和产品（合作伙伴）服务智能化解决方案知识问答网上法庭解决方案视频云语音解决方案个性化、场景化定制工具与合作伙伴共同成长