吕帆-哔哩哔哩基于云的客服架构体系.pdf

1、吕帆哔哩哔哩目录传统架构的局限性分析 新一代客服系统的转型方向系统稳定性差扩展能力受限通信不即时丢消息原系统来自外部采购，外部代码，部署物理机，单体架构智能化水平低1分布式部署，弹性扩展，高可用性和多活的容灾能力全云化架构2智能问答，智能检索，智能坐席调度智能化3弹性智能资源调度，数据驱动的智能决策云化与智能化的结合云客服整体架构资源部署和微服务服务拆分多活接入层网关层应用层支撑层权限校验参数校验通用配置API管理业务方管理流量控制用户入口智能问答坐席调度IM系统客服工作台客服知识库客服工单客服质检MysqlRedisESMQBoss文件存储Taishan KVDockerK8SLLMMilv

2、usEmbedingFaiss分布式架构可拓展稳定性提升易部署故障隔离复杂度降低云存储/计算算法整个架构上可以多机房部署CDN流量可随时切换Pod可随时扩容缓存/数据库等也可以随时扩容网关服务IM知识库智能问答工作台工单大模型工单调度向量检索故障彼此隔离发布彼此隔离资源彼此隔离分布式微服务部署坐席调度工单工作台网关服务IM智能问答工单用户咨询量占比：占比70%占比20%占比10%读场景多活部署网关服务知识库智能问答大模型向量检索写场景多活部署网关服务工作台工单IM工单调度坐席调度工单工作台系统稳定性提升拓展能力提升复杂性降低容灾能力提升云广播机制和轮询机制实现云IM总体架构设计和核心流程IM通

3、信C C端端B B端端 Server和Client该如何即时通讯 消息如何不丢失 多端之间消息如何同步 新客服系统采用广播+轮询机制来解决 本质还是消息推模式和拉模式的结合当有新消息时，广播推送给移动端，由移动端主动发起轮询，可以及时刷新-对广播未送达进行消息补偿，移动端使用服务端下发的轮询周期取拉取新消息，刷新状态-同时这种轮询模式也解决了网关服务器网关服务器网关服务器分发处理欢迎语推荐问题智能问答转人工排队工单评价系统提醒消息1消息2消息3.消息1消息2消息3.消息1消息2消息3.接入层消息系统1.发送消息2.送至消息服务3.处理消息4.存储消息5.广播推送6.读消息&会话7.同步新消息&

4、更新会话列表用户+商家A用户+商家B用户+商家C.对网络环境要求高对网络环境要求高：长连接依赖稳定的网络环境，如果网络不稳定，可能会导致连接中断，影响消息传递 维护复杂开发成本高维护复杂开发成本高：长连接需要维护客户端和服务器之间的连接状态，以及重连，保活；多端同步更是导致开发成本高 资源消耗大资源消耗大：长连接需要在客户端和服务器之间保持连接，这会占用一定的系统资源，尤其是当并发连接数较多时消息即时不丢消息消息共享知识库构建基于向量检索的智能问答基于知识库构建的RAG多轮问答的实现知识库问题:xxx答案:xxxB站的成立时间是什么时候？B站成立时间哔哩哔哩成立于2009年6月26日，被网友亲

5、切的称为“B站”用户问题标准问题答案B站的成立时间是什么时候？B站成立时间哔哩哔哩成立于2009年6月26日，被网友亲切的称为“B站”用户问题标准问题答案bilibili成立时间相似问题哔哩哔哩成立时间阿B成立时间b站哪年成立的.根据用户的问题找到最相似的问题文本相似度计算文本是一种非结构化的数据信息，是不能直接被计算的Word Embeding 词义相似时，在空间上也近似用户的问题返回TopN相似问EmbedingEmbeding知识库搜索模型训练基于Faiss框架用 户整体流程不够拟人化，回答比较生硬，机器人满意度比较低 只能做到单轮对话，不考虑上下文 如果进一步提升拦截率，面临满意度的降

6、低的风险用户的问题query改写：Re-writing向上泛化分解子查询领域知识库机器人知识库向量检索关键词检索训练索引Data Store用 户返回TopN问题和答案大语言模型（经过prompt+综合处理）上文输出答案业务知识库聊天记录领域知识库构建知识库历史聊天记录各类业务文档人工运营FAQLLM挖掘FAQ业务知识领域知识库人工LLM拆分双路召回+重排query改写：指代消解补全querymemory信息补全queryquery改写：向上泛化提出更基本概念，获取相关背景信息，补充queryquery改写：Sub