夏源-在医疗健康领域企业大模型RAG优化实践.pdf

1、医疗健康领域大模型医疗健康领域大模型RAGRAG优化实践优化实践演讲人：夏源百度灵医大模型底座技术负责人CONTENTS目 录01医疗健康领域RAG现状与挑战02RAG医疗领域技术优化03RAG医疗落地实践和应用RAG现状和挑战引言引言RAG技术是否已经“烂大街”？医疗领域RAG技术有什么不一样？RAG技术实际应用的难点和挑战？Naive RAG Naive RAG 技术技术框架框架Query理解问题检索召回&排序文档文档解析索引构建Prompt构建答案生成大模型ES库/向量库Naive RAG Naive RAG 面临的面临的问题问题Query理解问题检索召回&排序文档文档解析索引构建Pro

2、mpt构建答案生成大模型ES库/向量库chunk切分不完整文档格式解析错误图像文档解析意图理解错误多意图问题上下文指代不明召回噪声信息关键信息未召回大模型生成“幻觉”层次结构扁平大模型回答片面模型回答安全性关键信息截断证据相关性弱如何解决如何解决 Naive RAG Naive RAG的技术的技术问题问题意图识别多轮改写复杂query拆分证据源预判实体识别和扩展多队列召回向量召回文本召回知识图谱召回Q-TP相关性权威性多样性 证据筛选提取信息归纳答案文档解析文档切片文档挖掘向量索引文本索引内容理解（离线）需求理解检索召回排序&相关性LLM 答案生成chunk切分不完整文档格式解析错误图像文档解

3、析意图理解错误多意图问题上下文指代不明召回噪声信息关键信息未召回大模型生成“幻觉”层次结构扁平关键信息截断大模型回答片面模型回答安全性证据相关性弱证据权威性难点和难点和挑战挑战挑战一：如何针对医疗专业领域进行内容理解和建设？挑战二：如何提升在医疗药企领域大模型的专业性？挑战三：如何解决实际企业应用中复杂RAG问题？RAG医疗领域技术优化医疗检索增强医疗检索增强RAG RAG 技术技术架构架构文档抽取证据聚合RAGRAG大模型理解和推理应用大模型理解和推理应用自我反思自我推理Query理解意图识别关键词抽取上下文理解索引自动构建ES检索RAGRAG混合多级循证检索混合多级循证检索稠密向量检索深度

4、语义排序多源文档召回证据溯源路径检索相关性排序百度灵医大模型底座百度灵医大模型底座(LLM)(LLM)数据库解析版面分析医疗医疗RAGRAG内容理解内容理解表格识别文档结构化文字解析字段识别段落识别机器翻译推理检索内容医疗医疗RAG RAG 内容理解和内容理解和建设建设患者的病历包含不同的单据，如病案首页、检验报告单、病理报告单、住院诊断书等病案首页检验报告单病理报告单病理报告单医疗大数据治理入院记录病程记录手术麻醉记录出院小结.各种类型的医疗文档和单据，纯文本、表单、图谱、扫描件、复印件等读懂病历，理解患者医疗知识中台医学书籍医学文献医学行业标准医学临床指南药品说明书医学报告.读懂书本，掌握

5、知识医学知识的不同的数据来源，如医学书籍、医学文献、临床指南等各类医学知识文档有不同的排版样式、文档布局信息，不同的篇章信息、段落信息医疗领域富文本信息医疗领域富文本信息理解理解半/无结构化数据OCR文字识别Layout版面分析SPO抽取/schema抽取/etc.医疗领域富文本信息理解（病历单据/医学书籍）医疗大数据治理病历多单据识别/病案质控医疗知识中台医疗文档的知识抽取与图谱构建医疗文档智能分析医学知识循证与融合医疗领域的文档医疗领域的文档多样性多样性检验报告单检验报告单病程记录病程记录/现病史现病史书籍书籍/指南（电子版指南（电子版/图片版）图片版）医疗领域的文档医疗领域的文档多样性多

6、样性手术记录手术记录 诊断证明诊断证明文字密集，无法切分出单一实体用于实体类型预测结构布局不同，存在上下、左右等关系存在长、短文本预测完整实体被切分到多行多实体类型不同布局文字不连续长段落识别不同的排版样式不同的文档布局不同的篇章信息不同的段落信息医疗医疗RAGRAG内容理解内容理解架构架构多模语义实体识别多模态文档语义理解自注意力机制计算空间感知编码器空间结构化映射文档智能结构化引擎文档智能结构化引擎专病结构化医疗知识图谱构建SPO关系抽取知识循证Span抽取CRF组装NLPOCR.应用层应用层文档分析文档分析底座算法底座算法医疗单据识别表单识别单据解读MLLM传统小模型算法传统小模型算法文