A2--崔洪博--LLM解决移动端质量问题中的实践.pdf

1、LLM在解决移动端质量问题中的实践崔洪博腾讯 高级工程师崔洪博腾讯 高级工程师腾讯高级工程师，多年移动端开发经验。曾参与手Q、TIM等项目开发，目前负责Bugly的研发工作，参与产品核心监控能力的研发，例如crash监控、内存监控等，保障功能高可靠性。同时主导创新能力Bugly-AI的建设，包括AI问答、AI数据分析和AI异常归因等，帮助用户提升解决问题的效率。目录C O N T E N T S1.背景介绍2.实践：LLM 辅助数据检索3.实践：LLM 辅助问题分析4.效果及总结背景介绍01Bugly是什么覆盖应用研发全流程的质量监控定位平台，提升研发效率，为应用稳定运行保驾护航。01提供高效

2、采集、准确度量、及时告警、多维分析、快速定位等核心能力覆盖应用研发全流程的质量监控定位平台02Bugly功能架构图 多平台多维度AndroidiOSMacWindowsLinuxHarmonyVisionOS崩溃监控MetricKit进程退出隐私合规卡顿监控内存监控启动监控流量监控电量监控网络监控页面耗时OOM监控多框架FlutterHippy小程序小游戏Kuikly多引擎支持CocosUnityUE多地部署国内版海外版多维分析数据下钻聚类分析新增对比自定义看板自定义字段日志分析Bugly用户的痛点痛点问题：知识库依赖 下钻需求复杂 现场信息分析困难实践：LLM 辅助数据检索02Bugly 面

3、临的问题用户文档检索用户更愿意直观提问抽象问题无法直接在文档中得到结果多维度的数据下钻筛选条件越来越多自定义看板需要理解 DB 表结构LLM 特性自然语言理解可以理解用户的提问并给出直观答案丰富且可定制的知识库可定制专有的知识库，包括文档、DB结构应用背景筛选字段众多明确内部表结构技术方案选择定制知识库Fine-tuning 依赖训练数据且重计算知识库更新成本高 RAG 实现成本低高效更新知识库LLM 问题幻觉可信度LLM+RAG 基于文档的助手交互表现明确引用源提供答案引用的源链接用户提问引导针对性问题引导提问频率高，点赞结果高优化实践Prompt 优化+RAG 优先明确 LLM 的回答范围

4、未检索到的问题明确拒绝文档索引&质量优化LLM+RAG 基于文档的助手引导提问引用源文档索引优化基于文档段落分片前后段落重叠文档质量优化结构清晰的文档尽量使用具象描述相同概念使用相同的描述使用具象描述解释抽象概念为图表增加文字解释未使用多模态演示截图无法被检索LLM+RAG 基于文档的助手技术方案选择数据下钻分析特点数据库为结构化数据数据庞大要求实时精确计算Text2SQL自然语言 LLM SQL-DB挑战准确性/可信度 生成的 SQL 是否正确？执行效率数据安全 Text2SQL 辅助下钻分析实现方案结合 RAG 的 prompt 生成：表结构+文档+相关案例过程透明：SQL 可见+执行过程

5、可见+错误结果可见用户反馈介入：结果反馈+人工编辑历史案例：正确案例库检索使用Text2SQL 辅助下钻分析交互表现对话式交互单独 agent 触发反馈交互LLM 生成 SQL执行用户反馈结果用户编辑结果可视化结果数据下载图表生成（开发中）Text2SQL 辅助下钻分析SQL 生成优化 如何生成更准确的 SQL丰富的提示信息表结构+指标计算说明+案例采用统一的表结构明确字段含义，减少理解歧义尽量让计算变的简单生成的 SQL 更简单直观解决方案-视图 统一表结构和字段定义简化复杂指标的计算 隐藏原始表结构，避免敏感数据泄露 控制数据访问权限Text2SQL 辅助下钻分析实践：LLM 辅助问题分析

6、03SDK采集数据类型的对比错误类型错误堆栈系统日志现场信息错误类型错误堆栈系统日志现场信息自定义附件TombstoneFD infoMemory info进程&线程状态自定义日志自定义字段ANR traceANR info消息调度图GC info堆转储文件Mini dumpCore dumpDebug Info一般APM个例的日志，类型简单但难以用来分析复杂的问题Bugly 个例日志类型丰富，除出错堆栈等必要信息外，包含多种辅助信息，能用来分析疑难复杂的问题，但如果要掌握所有日志信息并灵活运用，需要有一定的学习成本.自定义附件通过LLM提升崩溃问题分析效率崩溃线程堆栈RAGAgentLLMt