郑岩-华为云客服AI助手的大模型实践与思考.pdf

1、此图片为AI生成2About me 郑岩，from 华为云BP&IT团队山东人深圳4年SAP，9年华为华为云数智使能团队负责人AI+知识 +数据+TA终身学习者通过本次分享，你可以了解到：华为云客服AI“养成之路”华为云客服AI落地过程中，遇到的“三道坎”及解题方法在企业中应用AI大模型的“避坑指南”目录1.探路篇：华为云客服AI助手工作复盘2.避坑篇：在企业内部应用AI大模型的思考5华为云客服业务背景：最重要的客户触点之一，如何持续提升用户体验和问题闭环效率？官网智能客服客户客服坐席SRE1.坐席专员流失率高，经验沉淀困难2.业务复杂、变化快，赋能周期长痛点2痛点1随业务量增长，坐席人数线性

2、增加6阶段1：20172019年核心诉求：业务作业过程线上化作业数字化 工单处理线上化 官网智能客服（QA Bot）知识库建设客服业务的技术演进历程：期待能够面向客户和坐席，提供更“有用”的客服AI助手阶段2：20192022年核心诉求：借助知识及“传统”AI手段，沉淀经验资产，提升人效阶段3：2023（探索中）官网智能客服升级|客服坐席AI助手核心诉求：AI大模型驱动生产力跃迁7客服AI助手的“养成之路”阶段：盘古11B+提示词工程+RAG（向量索引）+人工标注+SFT微调问题：人工标注效率低、标注质量差，谁来标、谁来检？阶段：盘古11B+提示词工程+RAG问题：模型能力不足、上下文过短、关

3、键词检索不准阶段：盘古11B+提示词工程+RAG+人工标注+SFT微调+作业即标注+AI萃取经验知识问题：部分产品存量知识不够，冷启动效果差、周期长阶段：盘古38B+提示词工程+RAG+人工标注+SFT微调+作业即标注Plus+AI萃取经验知识+持续运营问题：日调用超100w次，资源和性能瓶颈凸显，如何高效使用资源？如何解决复杂问题？阶段：POC，盘古11B内测，直接作答问题：通用大模型不理解垂域知识、信息安全如何保障？联合EI服务，早期试用盘古大模型联合EI服务，早期试用CSS向量索引及盘古大模型SFT能力客服AI插件版上线，试点团队推广认证AI训练师，发布AI标注规范和流程客服AI助手融入

4、作业流程，AI萃取历史工单经验覆盖客服全员，组建客服AI运营团队落地Data Grounding、多模态解析，探索语音场景NOW：最新模型，客服AI助手方案沉淀，孵化AI Core，复制到SRE、营销、SMB辅销2%17%48%56%68%81%2023.032023.052023.072023.092023.112024.Q1第 道坎：如何让AI大模型能“做事”？第 道坎：如何让AI飞轮“低功耗”转起来？第 道坎：如何让AI能力持续提升？：跨过“三道坎”，依然还在路上8 让AI大模型能“做事”，当前仅靠简单的R+A+G还远远不够，还需要3个关键配套1、RAG是当下性价比最高的LLM落地方案，

5、本质上是一种工程化“代偿”方案2、但是，RAG搞Demo容易、落地难，还需要几个关键配套 配套1：工程化实现 配套2：企业知识管理 配套3：全链路监控/评估Source:codeconductor.ai9附：RAG工程化实现方案，初看是搜索，越做越是Agent原始问题上下文向量知识湖融合搜索BadCase分析客服坐席开卷问题解答 自动N：输出TOPN知识片段官网资料案例/wiki知识语义化&切片Y：输出标准答案意图理解优质QS拦截知识整理后，入知识库补充+盘古+盘古+盘古+盘古标注、反馈10 只有让AI飞轮“低功耗”转起来，才能让“AI养成”这个游戏持续的玩下去企业场景用户量有限（k级），反馈

6、率极低（5%）；拿不到足够的反馈，就无法支撑AI持续迭代，怎么破？客户提出问题接收答案AI循环作业循环冷启动人工坐席作业即标注AI答的好修改AI结果后发给客户直接发给客户AI答的差AI作答坐席作答过程记录AI检索增强RAGAI模型微调SFTAI训练师经验标注资料团队、知识运营知识我们的解题思路：“作业即标注”，重新设计作业过程，将AI反馈流程与作业流程融合，以驱动AI飞轮11 持续提升领域AI大模型能力的“秘方”是什么？如何让AI大模型的能力提升符合预期：理解垂域知识，执行垂域任务，有更多数据和算力来持续投入训练L0.FL1.FL1.CL2企业/行业数据增量预训练通用指令数据SFT场景指令数据