阿里云 AI 搜索 RAG 大模型优化实践-欧明栋.pdf

1、阿云AI搜索RAG模型优化实践欧明栋阿云AI搜索RAG模型算法负责RAG背景01模型知识问答模型直答模型微调RAG(检索增强成)问题LLM外在幻觉多中少领域知识有有实时信息有可溯源有成本低低回答问题LLM+领域知识回答问题LLM回答+检索知识RAG架构档语义切混合索引向量+本问题档解析query改写扩展检索服务混合索引+重排LLM服务回答RAG的效果问题及归因档解析及切Query理解&检索服务LLM幻觉切截断档解析错误模型成幻觉拒答检索结果不相关&不完整模型未理解内容回答不完整切不完整检索结果不相关&不完整模型总结不完整回答不相关模型理解出错响应速度慢模型参数量RAG效果关键点切语义完整信息召

2、回完整档解析准确模型推理总结准确RAG架构-模型优化档语义切混合索引向量+本问题档解析query改写扩展检索服务混合索引+重排回答LLM Agent检索信息不完整时/意图澄清层级抽取微调模型评测模型效果评测在线离线RAG模块架构：阿云AI搜索开发平台搜索组件Query理解模型服务第三开源模型模型评测服务训练服务（PAI）推理服务（PAI-EAS）SFT数据成Query改写实体识别Query分词数据层在线引擎HavenaskElasticsearch数据格式数据源PDF、Word、PPTJSON、HTML、MarkdownExcel、CSVMaxComputeHologresHDFSOSSRDS

3、离线服务数据提取本切向量化sgpt-bloomstellabge-m3多粒度切分层次切分语义切分本提取OCR视觉模型拼写纠错指代消解多轮对话Qwen系列模型组件编排LangChainLlamaIndex数据湖Paimon、Hudi意图识别NL2SQL阿云SDKOpenAI SDK档结构化02档切问题已知信息：档1 修改云盘的UUID步骤如下，根据已知信息回答问题，确保只使已知信息中的内容回答问题，问题：如何修改云盘的UUID要修改云盘的UUID，请按照以下步骤操作：1.登录到云盘服务的管理控制台。2.寻找并进“存储”或“磁盘管理”相关的设置。切截断切不完整模型幻觉补全PDF、纯本等件类型法直接

4、解析语义层级，导致切语义不完整上下回答回答不完整已知信息：档1 修改云盘的UUID步骤如下：1.远程连接ECS实例。根据已知信息回答问题，确保只使已知信息中的内容回答问题，问题：如何修改云盘的UUID要修改云盘的UUID，请按照以下步骤操作：1.远程连接ECS实例。上下回答不完整幻觉档切-语义层级抽取模型公开数据集PDFWord纯本数据增强层级合并噪声混纯本模型训练SFTStepDPO后处理策略层级定位递归抽取切分模型抽取档语义层级实现基于语义层级的内容摘要，回答全局（超上下）问题保证切语义完整语义层级抽取模型-数据增强层级合并不同层级标题合并到相同层级噪声混基于业务数据构造噪声纯本构造删除所

5、有格式信息，转为纯本标题换假标题引语义层级抽取模型-模型训练SFTInputOutput基于qwen2-1.5B，约5万训练样本StepDPOInputChosen基于SFT模型预测错误样本构造，只优化第个出错的层级Reject h1:Opensearch产品架构,substructure:h2:搜索开发作台 h1:Opensearch产品架构,substructure:h2:搜索开发作台,substructure:,h2:LLM智能问答版,substructure:h1:Opensearch产品架构,substructure:h2:Opensearch版本包括语义层级切耗时&成本Lost i

6、n the Middle级标题级标题1级标题2段落1段落2段落3段落4级标题级标题1段落1/摘要级标题级标题2段落3/摘要级标题级标题1段落2/摘要级标题级标题2段落4/摘要语义层级切 切上下低少多信息完整度中v.s.当前案：适当增加切度 更优案？03模型微调&Agent探索模型成问题 AnalyticDB MySQL版有多种删除数据的式，建议如下：*数据删除频率低、基于主键为条件的删除，可通过DELETE删除数据。*数据删除频率低、基于任意条件的删除，可通过DELETE删除数据。*通过 TRUNCATE TABLE删除指定级分区。根据已知信息回答问题，确保只使已知信息中的内容回答问题，问题：