客服业务大模型运营实践.pdf

1、客服业务大模型运营实践模力驱动袁 建|火山引擎智能客服运营专家曾经的智能客服闲聊情绪安抚技能RAG人设描述技能描述召回知识输出要求售前销售售后问答知识文档1知识文档2知识文档3知识文档NLLMPrompt编写文档提示词工程效果评估闲聊天气预报客服用语答案意图识别问题分类情绪安抚话术天气问题礼貌问候意图训练加相似问预设答案如何通过大模型提升效果-智能客服Bot传统智能客服的运营动作大模型智能客服的运营动作用户query业务账号问题活动优惠商品属性账号答案活动答案商品答案用户query业务知识客服领域知识通识(情绪/闲聊)Before智能客服Bot-同频共情，真正解决用户问题 基于问题识别的单轮问

2、答服务生硬、话术刻板、缺乏人性化表达、无法识别情绪，智能解决率和满意度低于50%QQ匹配+上下文回复QQ匹配+多轮问答QQ匹配+情绪识别After基于大模型+RAG的多轮对话多轮对话、澄清、个性化闲聊，拟人化服务，让方案更明确、对话更顺滑自动澄清，追问后多轮回复结合上下文个性化回复情绪识别自动安抚+策略，多轮对话智能客服Bot-提升智能服务运营效率Before传统模式运营面临的挑战After大模型释放运营生产力内容覆盖不全面，仅能回答常见问题难以应对复杂多变的客户咨询01知识库有限回复话术较为刻板，缺乏人性化表达需客户多次描述问题才能理解03服务较为生硬010203完备知识库业务配置效率高拟人

3、化服务业务 办理【多轮会话配置】40天知识 咨询【知识梳理配置】50天通识/闲聊【通识闲聊梳理】10天02配置效率低业务办理【大模型复制配置】10天知识咨询【大模型知识问答，知识库自动识别】5天通识/闲聊【大模型通识回复/人设Prompt】0.5天涵盖各类知识领域，能准确回答各种专业问题实时更新知识，适应不断变化的业务需求语言表达自然流畅，如同与真人交流能感知客户情绪，给予恰当的回应和安抚从有限到完备知识储备：从生硬到拟人服务风格：提升配置效率：5倍如何通过大模型提升效果-客服助手Copilot半年前现在三个月前大模型精调，高质量对话数据精调模型线上采纳率接近50%；解决率显著提升面临的挑战：

4、模型训练周期长，无法满足知识灵活变更的要求适合场景：业务知识变更频率在36个月的场景大模型提示词工程，基模+RAG满足知识灵活变更的要求知识变更只需维护文档，快速上线简单咨询场景：评测可用率90%+（适合变更频率高的场景，如活动咨询）复杂咨询场景：评测可用率不足50%（不适合服务方案因规则而动态变化的场景）大模型提示词工程：基模+结构化提示词满足复杂咨询场景的要求通过业务知识文档+业务变量，生成结构化提示词(支持规则判断)利用豆包大模型的32k长tokens特性复杂咨询场景，生成回复评测可用率70%+，线上采纳率超60%模力拼图：60%文档检索生成回复+30%结构化提示词+10%精调RAGPr

5、omptSFT客服助手Copilot-大模型应用五要素的变化基础模型升级业务知识加工上下文完善职场对坐席要求放宽回复内容合规半年前现在验证场景回复评测可用率低于30%生成完整回复时间：十多秒升级前的大模型回复可用率 75%生成完整回复时间：5s流程遵循能力提升升级后大模型常规的标准问题缺少多样性缺少相似问法使用知识知识原始格式上下文对话 用户特征 相关场景诊断特征 信息完善坐席需要确定内容准确性，质检点较多强依赖坐席的采纳/信任，例如离线评测可用率60%，坐席采纳20%L2 是AI辅助人工只能拦住一些明显合规问题，例如安全、辱骂等刹车模型线上对话提炼QA对补全话术多样性补全相似问法 业务知识的

6、加工完备上下文对话 用户特征相关场景特征 信息完善坐席只需要管是否应跳出，质检点较少强依赖模型的能力，离线评测可用率75%，自主完结率60%L3是人工辅助AI不合规的回复内容拦截不恰当的回复内容改写质检模型如何实现人工客服的“智能驾驶”L2-L3传统服务导航模式：1v3L2 AI辅助人工模式：1v6L3 人工辅助AI模式：1v9如何通过大模型提升效果-客服质检Agent传统客服质检大模型质检业务效果并不及预期质检规则通过关键词+规则方式，定义质检扣分项抽样质检抽样全量会话的5%问题出在了哪里？质检规则通过提示词描述