2019年深度学习在企业智能交互中的应用.pdf

1、深度学习在企业智能交互中的应用追一科技 潘晟锋企业智能交互系统的划分思考企业智能交互系统的划分思考深度学习在智能交互当中的应用深度学习在企业服务中的实践拟人度包含两个方面，它需要像人一样处理复杂问题的能力；同时也需要像人与人之间的交互一样自然拟人度作为人工智能产品，其本意是为了替代繁重的人工成本。因此我们希望智能系统能够快速复制到相近的场景当中去可复制作为企业服务的一部分，智能交互系统需要提供高效的交互效率，从而提升企业为客户服务的效率效率目标不同的知识载体形式代表智能交互系统所能“理解”的知识范围知识载体形式不同的交互方式影响着智能交互系统的“自然”程度交互的方式不同的角色影响智能交互系统所

2、需要掌握的功能交互角色划分智能交互系统划分的思考交互角色复杂场景质检合规员员工与用户户员员工与数据工作流程效率优先用户户与数据限定场景用户体验智能交互系统划分的思考交互方式的划分通过语音交互可以让人更加方便自然，而口语化和书写文本的差异以及复杂环境的语音识别也带来新的挑战语语音面对面交流能带给人更加亲切和自然的感受，随着CV技术的发展这一方向也开始变得可行视觉视觉人接受的信息很大一部分是以自然语言的方式承载，文本交互方式是智能交互技术的基石，也是NLP的核心所在文本智能交互系统划分的思考无结构化的文档知识，如条款、说明书等文档知识库中的实体以知识图谱的方式连接知识图谱识图谱对应传统客服中的常用

3、知识总结方式FAQ知识载体形式划分企业中的表格类知识数据库库知识库知识库半结构化半结构化结构化结构化无结构化无结构化FAQ数据库数据库文档文档知识图谱知识图谱智能交互系统划分的思考企业智能交互系统的划分思考深度学习在智能交互当中的应用深度学习在智能交互当中的应用深度学习在企业服务中的实践挑战战文本的一对多映射问题问题形式FAQ数量FAQ更新应对企业业务的变化，FAQ需要进行热更稳定性模型的稳定性影响实际使用效果NL to FAQ如何开户户请问怎么开户请问怎么开户开户怎么弄开户怎么弄在哪开户在哪开户FAQQuery深度学习在智能交互中的应用在实际场景中，FAQ的数量很多思路借鉴人脸识别中的方法*

4、探索方法优化余弦距离加入边际拉大类间距离NL to FAQ深度学习在智能交互中的应用让类内样本聚集思路使用Zero-shot Learning方法探索方法多层级相似性动态路由NL to FAQ深度学习在智能交互中的应用使用多头注意力机制计算FAQ与样本间的不同层级的相似性利用动态路由融合不同层级之间的相似性思路利用对抗训练*减少扰动干扰探索方法加入扰动NL to FAQ深度学习在智能交互中的应用在词嵌入中加入扰动提升抗干扰能力挑战战2019 Language Intelligence Challenge 知识驱动对话赛事冠军问题问题形式围绕话题机器人需要围绕给定话题进行对话利用知识背景利用话题

5、相关的知识背景进行对话话题切换机器人需要完成给定话题间的切换知识转写需要知识内容进行理解并做相应改写NL to KG深度学习在智能交互中的应用思路NL to KG模型结构利用Bert对长距离序列建模的优势，将知识和对话拉平作为一个长序列生成问题深度学习在智能交互中的应用思路NL to KG输入结构利用Type Embedding表达数据结构深度学习在智能交互中的应用思路NL to KG注意力控制利用不同的Attention Mask控制信息流动深度学习在智能交互中的应用Knowledge pretrain思路NL to KG深度学习在智能交互中的应用对知识背景进行pretrain让模型知识间的

6、关系Multi-task文本生成与文本分类同时训练，在生成流畅对话的同时保持话题的一致性推理加速NL to KG深度学习在智能交互中的应用保留历史计算结果GPT生成过程中存在重复计算，保留历史计算结果可显著增加速度序列生成速度提升10倍数据构成首个中文NL2SQL数据集，首届NL2SQL挑战赛问题问题形式金融领域与通用领域NL to SQL深度学习在智能交互中的应用拒识数据泛化要求包含表格中无答案问句与WikiSQL相比，要求更高的模型泛化能力4千多表格，1万6千句SQL，5万自然语言问句与英文数据集WikiSQL相比有更大的难度BaselineNL to SQL深度学习在智能交互中的应用SQ