OpenSearch RAG 应用实践-邢少敏.pdf

1、阿里云OpenSearch RAG应用实践阿里云OpenSearch研发负责人/邢少敏目录RAGRAG产生背景产生背景RAG技术方案RAG应用实践RAG总结展望1950心理医师心理医师 ELIZAELIZAMIT Artificial Intelligence Laboratory19661972模拟精神病患者模拟精神病患者 PARRYPARRYStanford图灵测试图灵测试Alan Turing1991LoebnerLoebner Prize Prize设立设立每年数千美元的奖金对首次首次通过图灵测试额外奖励1995A.L.I.C.EA.L.I.C.E在互联网上可以使用，获得Loebner

2、 Prize 2000、2001、2004共3届冠军1997JabberwackyJabberwacky获得Loebner Prize 2005、2006连续2届冠军2005MitsukuMitsuku获得Loebner Prize 2014、2016、2017共3届冠军2006IBMIBM WatsonWatson在危险边缘Jeopardy!战胜人类2012微软小冰微软小冰亚马逊亚马逊AlexaAlexa阿里小蜜阿里小蜜2015GoogleGoogle NowNow苹果苹果SiriSiri20103、神经网络、强化学习、端到端对话系统2、NLP、AIML标签语言自动机、Slot-Fillin

3、g等1、专家系统人机对话系统发展简史“Bots are the new apps”-by Microsoft CEO Nadella,201620222017GoogleGoogleTransformerTransformerOpenAIOpenAIChatGPTChatGPT2018OpenAIOpenAI GPTGPT4、生成式AI垂直领域的挑战催生RAG提问回答世界知识查找信息结果整合企业自身知识库海量通用知识、语料参差不齐、存在安全风险企业内部文档、业务数据、经营数据成本很高知识受限幻觉问题不可解释合规问题直接使用大模型？大模型在知识问答场景存在的问题目录RAG产生背景RAGRAG技术

4、方案技术方案RAG应用实践RAG总结展望RAG论文地址：https:/arxiv.org/pdf/2312.10997.pdfGithub：https:/ Retrieval-Augmented Generation（检索增强生成）搜索结果引导LLM的生成 RAG优势 实时更新知识库，无需重新训练 答案能追溯来源，可解释可追踪 答案基于知识库，不易产生幻觉文档文档html,markdown,pdf,doc问题问题介绍介绍OpensearchOpensearch向量索引向量索引文本索引文本索引Q Queryuery扩展扩展介绍介绍OpensearchOpensearchOpensearchOpe

5、nsearch功能功能OpensearchOpensearch优缺点优缺点混合检索混合检索PromptPrompt生成生成检索增强数据检索增强数据客户数据客户数据Q Qw wenen第三方开源模型第三方开源模型数据数据模型模型RAGRAG定制模型定制模型预训练预训练&SFT&DPO&SFT&DPO大模型大模型总结总结回答回答OpensearchOpensearch是基于阿里巴巴是基于阿里巴巴大模型评测大模型评测评测指标评测指标准确率、幻觉率、全面性、不相关比例阿里云OpenSearch RAG解析解析、切片切片、索、索引引重排重排文本、图片、表格、代码离线链路在线链路训练链路RAG关键点场景效

6、果要求高“预期100%准确”实时生成答案“13秒内”隐私和安全性“过滤敏感话题”训练推理成本高“RAG主要成本是GPU”准确解析不同格式文档 准确召回问题相关结果 低幻觉率的大模型总结 高性能召回问题相关结果 高性能大模型推理生成 遵守相关法律法规 可控的大模型生成 过滤屏蔽敏感话题 低成本训练方法 大模型推理加速RAG关键点场景效果要求高“预期100%准确”实时生成答案“13秒内”隐私和安全性“过滤敏感话题”训练推理成本高“RAG主要成本是GPU”准确解析不同格式文档 准确召回问题相关结果 低幻觉率的大模型总结 高性能召回问题相关结果 高性能大模型推理生成 遵守相关法律法规 可控的大模型生成