费跃-构建企业级 RAG 系统的创新实践.pdf

1、构建企业级RAG系统的创新实践演讲人：费跃阿里云/PAI 人工智能平台01010202030304040505目录背景介绍模块化RAG架构模块设计和优化企业级RAG能力集成总结背景介绍背景介绍检索增强生成（Retrieval Augmented Generation,RAG）从数据源中检索信息来辅助大语言模型（Large Language Model,LLM）生成答案。RAG的优势：准确性时效性数据安全准确性一致性可解释性效果优访问控制合规隐私数据管理数据安全低延迟可伸缩大规模知识库构建和查询高性能无缝集成可观测在线评估系统集成企业级RAG系统的挑战客户的知识库领域、格式、内容的多样性，效果难

2、以保证需求具有多样性，常规RAG链路难以满足不同场景的定制化需求RAG优化是一个系统性工程，可靠性、高性能、高质量难以取舍数据隐私和安全问题，实现私有化部署和安全合规访问企业级RAG系统架构模块化RAG架构模块化RAG图片来源:https:/arxiv.org/pdf/2407.21059模块化RAG可扩展，适应不同场景的需求可调优，各模块可独立配置、评估、优化可维护，模块间松耦合高级RAG预检索+重排序检索优化：提高检索效率并加强检索块的利用率模块化RAG架构模块化设计白盒化：模块可以灵活添加/修改快速构建：可通过配置文件/UI dashboard修改模块配置代码开源：兼容LlamaInde

3、x开源协议模块编排：通过编排和路由匹配不同场景需求模块评估：自动生成数据集，系统评估端到端和各模块性能模块设计和优化文档解析文档解析的挑战格式多样性格式多样性：企业级数据格式多样，需要适配不同类型文件的结构和内容内容复杂性内容复杂性：文档内容可能包含文本、图像、表格、公式、标题、代码块等多种复杂元素。非结构化文本非结构化文本：PDF或者扫描类文档解析难度高文档更新迭代文档更新迭代：随着数据不断更新，知识库中内容会过期失效文档解析非结构化文件非结构化文件转Markdown格式格式友好，清晰易读保存标题、表格、图片等元素信息复杂度降维，后续切分无需关注输入的文件类型结构化文件结构化文件JSON编码

4、存储表格key-value信息自动行表列表检测合并单元格拆分PDF解析算法难点：版面识别/表格解析闭源PDF解析APIDocument MindLlama Parse开源PDF解析模型EasyOcrPDF-Extract-Kit文本切块非结构转Markdown为什么需要文本切块提高检索准确性 -减少索引内容的噪音 -embedding的序列长度限制提升模型生成效果 -更相关的上下文 -减少延迟切块策略的难点选择合适大小，太大检索效果差，太小信息缺失。保留文本块语义独立性、完整性文本切块策略固定长度切块优点:实现简单，性能块，大小固定缺点:不够聪明，语义被切断语义切块优点：语义信息完整，有利检索

5、缺点：计算复杂，阈值难取递归分块优点：内容连贯完整，灵活缺点：计算复杂，效果受限于分隔符文档结构分块优点：保留文档结构、元素信息，内容连贯完整缺点：计算复杂，效果受限于文档结构LLM分块优点：效果最优缺点：速度慢，代价太高文本切块策略非结构转Markdown默认切块策略1.Markdown输入，降低解析复杂度2.按文档结构递归解析，语义连贯3.特殊元素处理表格标题图片列表代码块查询重写为什么需要查询重写用户的提问通常比较口语化，直接用问题检索效果不佳减少查询和文档之间的语义差异多轮对话中的检索，需要指代消解查询重写策略子问题查询，生成相关子问题，补充query的细节假设文档（HyDE）回溯提示

6、（STEP-BACK Prompting)查询扩展，伪相关反馈提供领域知识补充查询路由数据源路由：根据问题选择特定数据源的信息：向量数据库：相似度搜索关系数据库：结构化数据查询图数据库：实体关系查询外部API：特定需求查询组件路由：根据问题选择特定的组件向量数据库（FAQ）LLMAgentPrompt路由：根据问题选择对应的prompt不同问题场景切换prompt多语言查询的prompt切换检索向量检索 Embedding模型选择MTEB榜单知识库的语言（中文/英文/多语言）文本的序列长度混合检索向量检索的劣势：特定术语匹配（产品名称或者型号等），私域数