王林林-哈啰出行智能客服：如何应用语言模型提升机器人服务能力.pdf

1、LLM在哈啰智能客服应用实践主讲人：Alan 王林林演讲嘉宾介绍王林林哈啰人工智能&地图平台 高级算法专家 哈啰智能客服算法的负责人。带领团队打造的机器人系统把解决率提升了一大个台阶。在清华、香港科大研究NLP技术，接着在阿里小蜜团队参与多个创新性项目，积累了丰富的行业经验。对于用NLP技术解决实际问题充满热情和好奇心，近年亲身体验了大语言模型在通用对话方面所展现出来的惊人潜力。ABOUT US数据截至2022年12月底BUSINESS SCALE业务规模单车业务单车业务注册用户5.95.9亿亿入驻城市（含县级市）400+400+个骑行总里程348348亿公里累计减少碳排放169169万吨入驻

2、城市（含县级市）400+400+个累计减少碳排放5353万吨助力车业务助力车业务顺风车业务顺风车业务覆盖城市（含县级市）300+300+个认证车主逾20002000万万名门店3000+3000+家电动车业务电动车业务覆盖城市（含县级市）300+300+个换电业务换电业务骑行总里程123123亿公里 打车业务打车业务覆盖城市（含县级市）200200个CONTENT目录01哈啰智能客服的总体介绍和算法流程LLM的评测和应用：答疑机器人网约车智能判责及其平台化0203应用度量学习提升新意图发现的准确率主动服务-打造令人惊喜的下一代服务0405Part 01哈啰智能客服的总体介绍和算法流程 用户在哈啰

3、智能客服的历程用户在哈啰智能客服的历程云客服受理占比达云客服受理占比达70%70%Part 02LLM的评测和应用：答疑机器人 生成式模型用于答疑机器人 摘要、背景 机器人设计、模块 评测开源基础模型是否适合 实体抽取的优化生成式模型用于答疑机器 减轻研发人员工作量 任务型机器人设计 基座大模型+领域数据微调 通过微调，提升域内表现摘要订单逻辑复杂，答疑工作多基于大模型的钉钉机器人意图识别信息抽取问题解答自动解决实现自动答疑或直接解决解决80%的答疑问题应用场景:智能客服、任务型机器人、知识库问答(wiki文档)NLU任务处理:订单逻辑分析DM提出问题追问解决问题多轮会话ES问答机器人案例哈啰

4、LLM大模型QABotDMTaskBotDM测试研发研发背景人工定位问题：ES API熟练使用识别返回结果时间成本期待通过程序代码对返回结果进行解析，给用户返回可解释的原因，提高效率。机器人设计数据同步层通过DataMan、HMS、Dump等平台提供的API检测数据同步链路召回诊断层通过explain查询检测是否被字段查询过滤通过收集ES插件日志检测是否被自定义查询过滤意图识别层通过调用算法部署的意图识别服务获取意图和实体通过多轮对话对缺失槽位追问机器人模块意图识别：定位是否为答疑类问题；实体识别：抽取需要信息，槽位未填满则进行追问；意图识别实体抽取语义匹配模型+规则匹配评测开源基础模型是否适

5、合 清华开源的ChatGLM-6B 参数较小，A100上RT 2s内，QPS也OK 中文任务支持高基础架构训练方式参数量训练数据使用成本优缺点LLaMAGPT自监督预训练7B、13B、33B、65B1T（万亿）-1.4T词汇，以英语为主的拉丁语系以7B模型为例，加载大约要15G显存优点：13B版本在大多数测评任务中优于GPT3（175B）；缺点：中文任务支持差，没有多轮对话能力。AlpacaGPTLLaMA+chatGPT数据微调，训练一次成本不到500美元7B52K英文指令数据，15G显存优点：最早的类chatGPT模型，成本低；缺点：中文支持不好。VicunaGPTLLaMa+用户对话微调

6、，训练一次成本300美元13B70K条对话数据30G显存优点：在英文测评任务上达到90%chatGPT效果；缺点：中文效果一般，存在偏见性。GLM-130BGLM自监督预训练多任务预训练130B1T中文文词汇300G显存（大约4张A100）优点：类似GPT3，多种任务效果好；缺点：模型大，依赖资源重，多轮对话不支持MOSSGPT自监督预训练SFT数据微调13B左右700B中英文词汇，110W多轮对话数据30G显存优点：中文任务支持好，支持插件能力；缺点：效果和插头GLM差不多，但是显存使用是2倍chatGLMGLM自监督预训练多任务预训练SFT数据微调6B1T中文文词汇，多轮对话数据14G显存