【孙凤伟】基于 GPT 的智能客服落地实践.pdf

1、基基于于 G GP PT T 的的智智能能客客服服落落地地实实践践孙孙凤凤伟伟好未来境外分校移动端负责人好未来境外分校移动端负责人曾任职百度、滴滴，2019年加入好未来主要从事移动端产品的研发，近半年重点关注大模型的应用和探索孙孙凤凤伟伟contents问问答答客客服服V V_ _1 1.0 001技术选型、方案设计、数据表现及缺陷总总结结03迭代过程中的一些心得和思考智智能能客客服服_ _v v2 2.0 002技术选型、AutoGPT原理介绍、方案设计、数据表现项项目目概概述述项项目目背背景景 提高客服响应的实时性 验证大模型生产环境的可应用性、跟进新技术0 01 1V V_ _1 1.0

2、 0 问问答答客客服服 基于企业专有知识库的客服系统F Fi in ne e-t tu un ni in ng g:As an analogy,model weights are like long-term memory.When you fine-tune a model,its like studying for an exam a week away.When the exam arrives,the model may forget details,or misremember facts it never read.I In n-C Co on nt te ex xt t l le

3、 ea ar rn ni in ng g:In contrast,message inputs are like short-term memory.When you insert knowledge into a message,its like taking an exam with open notes.With notes in hand,the model is more likely to arrive at correct answers.学学习习方方式式 In-Context learning Fine-tuningV V_ _1 1.0 0 如如何何让让大大模模型型学学会会特

4、特定定领领域域知知识识P Pr ro ommp pt t组组织织方方式式 语料要如何组织 如何匹配到和用户问题相关的语料 token的限制使用下面提供的文本信息尽可能如实回答问题，如果答案没有包含在下面的文本中，请说“我不知道“。信息如下：1、我们（Think Academy）和学而思都是好未来集团下的品牌，我们基于原来在中国的18年教育沉淀，在美国也开设了分校，超过3年多的时间做本地化打磨，为美国孩子专门量身定制课程。2、Think Academy是好未来集团下的品牌，我们延续在中国（学而思品牌）的教学理念和精神，在全球各地开设教学点，服务广大学员。3、Think Academy有很强的研发

5、能力和教学水平，无论是竞赛还是升学，孩子都会有非常的进步和提升。所有课程均致力于提升孩子数学兴趣及潜能，为不同基础和目标的孩子供全方位的数学服务。Q:Think Academy是什么机构？A:V V_ _1 1.0 0 i in n-C Co on nt te ex xt t l le ea ar rn ni in ng 原原始始语语料料结结构构化化语语料料V V_ _1 1.0 0 知知识识库库的的搭搭建建关关键键节节点点 Input向量转化 文本相似度计算与匹配 关键字兜底V V_ _1 1.0 0 全全局局流流程程图图用用户户后后端端服服务务G GP PT T提问回复用户特定结构的消息欢

6、迎语检测中英文配匹对应的语料库发起gpt请求，用户提问转换成向量向量相似度计算根据token数，选取topN的上下文，拼根prompt判断是否有关键字根据prompt和用户的input回答问题点击咨询V V_ _1 1.0 0 线线上上数数据据表表现现V V_ _1 1.0 0 设设计计缺缺陷陷需需要要扩扩展展更更多多的的覆覆盖盖场场景景，如如老老师师咨咨询询、课课程程咨咨询询动动态态信信息息的的维维护护麻麻烦烦，给给业业务务增增加加过过多多的的维维护护成成本本部部分分情情况况下下 c ch ha at tG GP PT T 存存在在自自由由发发挥挥的的情情况况，不不完完全全可可控控0 02