A5--杨方方--大模型在质量风险管控的应用.pdf

1、大模型在质量风险管控的应用杨方方百度 资深测试开发工程师杨方方百度 资深测试开发工程师主要负责质量风险管控、稳定性保障、线上测试等质量领域相关工作和业务落地，包括风险管理、智能监控/定位排查/止损决策、风险控制智能体、知识图谱、大事件保障、风险自检、混沌工程、容量测试等，在多个业务取得较好落地效果。目录C O N T E N T S1.质量风险管控的思考2.质量风险管控方案介绍3.基于大模型的管控能力建设实践4.总结与期望质量风险管控的思考01质量风险管控的思考质量风险管理问题发生前提前感知潜在风险风险前置闭环，避免损失质量风险控制问题发生后快速感知、定位、止损控制风险带来的损失质量风险管控的

2、思考知识图谱智能化监控平台风险管理系统风险控制智能体风险前置闭环质量损失控制知识同步知识获取知识获取监控风险闭环监控风险闭环问题排查止损问题排查止损智能化知识挖掘质量风险管控方案介绍02风险管理建设挑战&目标挑战质量保障对象数量持续快速增长，海量、非标不同质量保障对象的质量风险分布不同质量保障能力的持续迭代变化目标保障对象*保障能力的质量风险刻画&闭环解决方案：风险管理系统质量风险管理基于知识图谱数据构建对象和能力挖掘物理实体间依赖关系挖掘物理实体和业务实体间关联关系构建不同阶段各类实体对象的质量风险能力构建风险策略生态以风险套餐形式，建立对象&质量能力组合策略构建风险处置策略，闭环风险风险控

3、制挑战&目标更快定位&止损：定位建设代价大：知识图谱&定位工具分层复用定位链路长：场景化定位编排定位经验依赖人：基于RAG+LLM的排查推荐&归因智能体定位工具使用门槛高：基于LGUI一站式定位产品目标：问题发生后快速找到有效止损手段，控制损失产品：风险控制智能体更快感知：报警智能生成指标异常监测、关联推荐日志分析聚类报警收敛、治理质量风险控制基于大模型的智能风险控制关键组成要素全面、标准、稳定、智能化的知识图谱丰富、分层的智能化编排工具层灵活完备的多智能体体系基于LGUI的管控产品能力大模型让风险控制从个人智慧变为共享智慧，降低风险控制门槛，把风险控制从经验式进化至Copilot并逐步实现A

4、utopilot基于大模型的控制能力建设实践03知识图谱挖掘3.1基于大模型构建知识图谱背景为什么要建设知识图谱？海量的质量风险管控主体复杂多样的主体关系复杂的经验沉淀大模型强化基础知识图谱建模(示例）Has_moduleHas_alertHas_alertHas_metricHas_metricHas_metricALERTMETRICBUSINESSMODULE实体关系知识图谱建设重点标准化存储、建模完善的基建能力规模化智能化挖掘如何进行知识挖掘人工规则/白盒/日志/trace大模型逐步演进+合理结合建设原则分层建设场景驱动通过LLM增量的方式实现业务实体-代码实体-业务指标实体的关联信息

5、挖掘大模型增强的业务&指标关系挖掘需求原文档摘要文档规则解析LLM泛化提取代码变更片段LLM代码片段需求解析实体解析代码解析(1)基础信息规则/泛化提取历史相似检索业务知识背景大模型(2)大模型逻辑推理知识图谱人工反馈向量库(3)关系数据反馈飞轮、存储、回流知识图谱#你是一个XXX策略同学,请根据业务知识,升级信息,历史同类项目提取业务影响信息#.严格按照json格式输出升级信息PromptBUSINESSMETRICCode影响指标业务关联Output（json转化）风险管理变更拦截指标异常定位报警分析知识图谱内容示例百万实体，百万关系标准化、开放式知识挖掘生态完备的图谱基建知识图谱应用场景

6、风险控制智能体建设3.2风险控制智能体（RCS-Agent）介绍意图识别BCAgentQAAgentLogAgentDataAgentCDAgentData-toolkitTS-toolKG-toolDC-toolCDtoolkitChange-tool贡献度分析拐点分析成分分析动态阈值知识图谱时序库向量库意图分发&Planing（ReAct&Cot）：规划调度能力动态&分层tool构建、编排：行动能力最终推理归因&飞轮单指标异常归因多指标异常归因故障库定位经验库RCS-Agent是基于LLM的场景化多Agent风险控制智能体，利用模型的规划-行动-记忆-推理归纳能力和知识图谱底座，以LGUI