2024 年向量数据库与 RAG 落地思考与实践-苏鹏.pdf

《2024 年向量数据库与 RAG 落地思考与实践-苏鹏.pdf》由会员分享，可在线阅读，更多相关《2024 年向量数据库与 RAG 落地思考与实践-苏鹏.pdf（44页珍藏版）》请在三个皮匠报告上搜索。

1、2024年向量数据库与 RAG 落地实践与思考爱可生 苏鹏目前在爱可生负责大模型与数据库的创新场景探索，在数据库和算法领域有着丰富的开发经验。Datawhale 开源学习社区 上海负责人LFAPAC Edu SIG member公众号向量检索实验室主理人GitHub 账号：https:/ 爱可生 AI 创新事业部负责人目录目录一、大模型落地过程中的现状和问题一、大模型落地过程中的现状和问题二、技术重点信息提取/信息检索/LLM 交互/RAG 评估三、电力行业智能化营销实战业务背景/实现方案/方案效果四、总结与展望大模型落地过程中的现状和问题大模型落地过程中的现状和问题大模型这么多，怎么选？大模

2、型这么多，怎么选？需要多少硬件资源支持？需要多少硬件资源支持？大模型有幻觉怎么办？大模型有幻觉怎么办？新技术层出不穷，如何跟进？新技术层出不穷，如何跟进？大家都在做长文本对我有什么影响么？大家都在做长文本对我有什么影响么？应该项目制还是统一规划？应该项目制还是统一规划？缺失内容缺失内容关键文档被遗漏关键文档被遗漏文档长度超过上下文限制文档长度超过上下文限制提取困难提取困难格式错误格式错误缺乏具体细节缺乏具体细节回答不全面回答不全面结构化数据问答结构化数据问答复杂复杂 PDFPDF 文档数据提取文档数据提取备用模型策略备用模型策略大语言模型安全性大语言模型安全性大模型落地过程中的现状和问题大模型

3、落地过程中的现状和问题大模型落地过程中的现状和问题大模型落地过程中的现状和问题Vector DB虽然能通过微调的方式进行知识注入，但是存在两个缺陷：1.模型微调需要专业人才、GPU设备投入较大投入较大2.若非私有化部署的模型，微调后有数据泄漏数据泄漏的风险，而且知识不易变更知识不易变更通过检索增强生成（RAG）的方式，能够保证定位到最新且准确的知识数据定位到最新且准确的知识数据，作为上下文输送给大模型，用低成本（仅普通服务器即可实现高效检索）的方式提升模型效果。用低成本（仅普通服务器即可实现高效检索）的方式提升模型效果。模型微调基于向量检索的大模型 检索增强生成（检索增强生成（RAGRAG）1

4、.Seven Failure Points When Engineering a Retrieval Augmented Generation System2.https:/ /信息检索信息检索 /LLMLLM 交互交互 /RAG RAG 评估评估三、电力行业智能化营销实战业务背景/实现方案/方案效果四、总结与展望技术重点技术重点 信息提取信息提取 标题、章节名 正文 表格 表名 图片 图片名技术重点技术重点 信息提取信息提取基于基于 YOLO 的目标检测网络的目标检测网络技术重点技术重点 信息提取信息提取技术重点技术重点 信息提取信息提取Q&AQ&A 拆分拆分摘要拆分摘要拆分向量空间向量空间

5、卷积神经网络卷积神经网络1.4,2.1,3.1技术重点技术重点 信息提取信息提取1.7,2.8,2.4技术重点技术重点 信息提取信息提取向量空间向量空间卷积神经网络卷积神经网络1.4,2.1,3.12.3,1.5,1.1技术重点技术重点 信息提取信息提取1.7,2.8,2.4向量空间向量空间卷积神经网络卷积神经网络1.4,2.1,3.12.3,1.5,1.1技术重点技术重点 信息提取信息提取1.7,2.8,2.4向量空间向量空间卷积神经网络卷积神经网络1.4,2.1,3.1query1,0.5,0.7queryresult向量数据库向量数据库Inverted-File Based:FAISSI

6、nverted-File Based:FAISSGraph Based:HNSWGraph Based:HNSWHash Based:FALCONNHash Based:FALCONNTree Based:ANNOYTree Based:ANNOY技术重点技术重点 信息提取信息提取向量数据库本身不能解决 Embedding 的质量问题技术重点技术重点 信息提取信息提取Embedding 模型微调技术重点技术重点 信息提取信息提取the text catpicture of a cat多模态多模态模型模型m multilingual embeddingsultilingual embedding