邢少敏阿里云AI搜索RAG应用实践-20240701.pdf

1、阿里云AI搜索研发负责人/邢少敏内容提纲产生背景PART ONE应用实践PART THREE技术方案PART TWO总结展望PART FOUR人机对话系统发展简史1950心理医师心理医师 ELIZAELIZAMIT Artificial Intelligence Laboratory19661972模拟精神病患者模拟精神病患者 PARRYPARRYStanford图灵测试图灵测试Alan Turing1991LoebnerLoebner Prize Prize设立设立每年数千美元的奖金对首次首次通过图灵测试额外奖励1995A.L.I.C.EA.L.I.C.E在互联网上可以使用，获得Loebne

2、r Prize 2000、2001、2004共3届冠军1997JabberwackyJabberwacky获得Loebner Prize 2005、2006连续2届冠军2005MitsukuMitsuku获得Loebner Prize 2014、2016、2017共3届冠军2011IBMIBM WatsonWatson在危险边缘Jeopardy!战胜人类2012微软小冰微软小冰亚马逊亚马逊AlexaAlexa阿里小蜜阿里小蜜2015GoogleGoogle NowNow苹果苹果SiriSiri20112、NLP、AIML标签语言自动机、Slot-Filling等1、专家系统“Bots“Bots

3、 areare thethe newnew apps”apps”-by Microsoft CEO Nadella,201620222017GoogleGoogleTransformerTransformerOpenAIOpenAIChatGPTChatGPT2018OpenAIOpenAI GPTGPT4、生成式AI3、神经网络、强化学习、端到端对话系统垂直领域的挑战催生RAG提问回答世界知识查找信息结果整合企业自身知识库海量通用知识、语料参差不齐、存在安全风险企业内部文档、业务数据、经营数据成本很高知识受限幻觉问题不可解释合规问题直接使用大模型？大模型在知识问答场景存在的问题内容提纲产生背

4、景PART ONE应用实践PART THREE技术方案PART TWO总结展望PART FOURRAGRAG概念 Retrieval-Augmented Generation（检索增强生成）搜索结果引导LLM的生成 论文地址：https:/arxiv.org/pdf/2312.10997.pdf Github：https:/ RAG优势 实时更新知识库，无需重新训练 答案能追溯来源，可解释可追踪 答案基于知识库，不易产生幻觉html,markdown,pdf,doc问题问题介绍介绍OpensearchOpensearch向量索引向量索引文本索引文本索引Q Queryuery扩展扩展介绍介绍Op

5、ensearchOpensearchOpensearchOpensearch功能功能OpensearchOpensearch优缺点优缺点混合检索混合检索PromptPrompt生成生成检索增强数检索增强数据据客户客户授权授权数数据据Q Qw wenen第三方开源模第三方开源模型型数据数据模型模型RAGRAG定制模型定制模型预训练预训练&SFT&DPO&SFT&DPO大模型大模型总结总结回答回答OpensearchOpensearch是基于阿里巴是基于阿里巴巴巴大模型评测大模型评测评测指标评测指标准确率、幻觉率、全面性、不相关比例解析解析、切片切片、索、索引引重排重排文本、图片、表格、代码离线链

6、路在线链路训练链路RAG关键点场景效果要求高 “预期100%准确”实时生成答案 “13秒内”隐私和安全性“过滤敏感话题”训练推理成本高“RAG主要成本是GPU”准确解析不同格式文档 准确召回问题相关结果 低幻觉率的大模型总结 高性能召回问题相关结果 高性能大模型推理生成 遵守相关法律法规 可控的大模型生成 过滤屏蔽敏感话题 低成本训练方法 大模型推理加速RAG效果优化-数据解析和提取文档结构分析表格信息提取图表理解RAG效果优化-文本切片层次切分多粒度切分一级标题二级标题1二级标题2段落2段落3段落4段落5一级标题二级标题1段落2一级标题二级标题1段落3一级标题二级标题2段落4一级标题二级标题