激活数据潜能：向量数据库与生成式AI的实战洞察-诸葛瑞麟.pdf

《激活数据潜能：向量数据库与生成式AI的实战洞察-诸葛瑞麟.pdf》由会员分享，可在线阅读，更多相关《激活数据潜能：向量数据库与生成式AI的实战洞察-诸葛瑞麟.pdf（45页珍藏版）》请在三个皮匠报告上搜索。

1、激活数据潜能 向量数据库与生成式 AI 的实战洞察伊克罗德信息架构师经理 诸葛瑞麟Rain.ChukeheCAgenda为什么我们需要 RAG构建面向大模型和 RAG/Agent 系统的数据底座以集中式架构提升 RAG 解决方案的灵活性客户案例分享从基础模型的发展中获益RAG 仍然是落地大模型应用的最优路径为什么我们需要 RAG0 2 4 6 8 10 12 14 16 ChatGPTNew BingCanvaGeminiDeeplCharacter AINotion AIQ-Chat/QuizletShopJambotSalesforce AIGrammarlyLINER AIPerplex

2、ity AIQuillbot2024 年 3 月 Top15 AI 应用访问量（亿）大模型原厂既有产品 x AI 能力AI 原生产品/赛道数据来源：图例u正常聊天/问答：目前 ChatGPT 的访问量独一档，Claude 和 Gemini 的能力够与其分庭抗礼，其他一众挑战者还有一定差距。u图片生成：图片可用性差，细节修改的人力成本高等问题仍旧存在。生成可用性高的图片依赖成熟的u代码生成：写代码很快，Debug 很慢。uCopilot：互联网检索能力不足，工作中的逻辑性较差。uAI 文书：法律文书、应用文体生成、日常写作等依赖历史资料摘要总结能力的应用目前表现最好。uAI 陪聊/ChatBot

3、：Character.ai、星野、豆包等陪伴类聊天产品在 2023 下半年取得了突破性的成功。精准把握了 AI 取悦人的能力。u知识库：向量数据库结合 LLM 带来的私域知识检索能力，能够真正让陈旧的企业数据产生价值。对内降低人员沟通/培养成本，对外可以实现 AI 客服等能力，有极强的潜力。(OpenAI 官方)(微软套壳)(文生图视觉设计)(Google 官方)(AI 翻译)(AI 陪聊)(办公笔记)(教育问答)(Shopify 电商)(生产力工具)(销售管理-话术生成)(写作助手)(类 Copilot 工具)(搜索引擎)(写作助手)大模型应用层还没有独角兽大模型应用层还没有独角兽RAGRA

4、G微调模型微调模型通用适配知识引用即时更新可解释性任务定制预先学习重复训练难以解释微调模型通常是为特定场景/任务进行优化，达到一个比较好的效果。RAG 即使未经过优化，也能在不同场景/任务中有比较平衡的表现。微调模型需要投喂特定的场景/任务相关的数据，才能生成答案。RAG 可以直接引用现有知识库中的内容。微调模型以更新知识体系，需要大量的时间和算力。RAG 的知识库是即时更新的，有极高的数据实效性。微调模型给出的答案无法解释，容易有幻觉问题。RAG 给出的回答有知识库中的文档支撑，可以溯源。RAG RAG 相比微调模型，可以以相比微调模型，可以以 0.1%0.1%的成本，达成相近的效果。的成本

5、，达成相近的效果。大模型快速发展，为什么我们需要大模型快速发展，为什么我们需要 RAGRAG大模型快速发展，为什么我们需要大模型快速发展，为什么我们需要 RAGRAG外部知识需求高低低高模型微调需求检索器微调协同微调生成器微调多个模块的有机组合模块化模块化 RAGRAG索引/检索前/检索后优化进阶进阶 RAGRAG添加相关上下文段落朴素朴素 RAGRAG标准提示词少样本提示词XoT(思维链)即使使用了 RAG，也需要使用类似 CoT 的提示词工程技术来优化 LLM 的输出。而 RAG 上生产之后，精度会随着知识复杂度降低，也会有难以预测的用户请求对 RAG 提出更高要求。因此对 RAG 做好问

6、答记录，基于历史记录对 LLM 进行小样本微调，也是必经之路。从提示词工程，到 RAG、微调，并不是相互排斥的。在实际的生成式 AI 工程化落地中，它们很多时候是密不可分的。图片来源：Retrieval-Augmented Generation for Large Language Models:A Survey开源的 AI 向量数据库 MyScale构建面向大模型和 RAG/Agent 系统的数据底座Askture 解决方案诞生于 2023 年 8 月，架构设计上遵循亚马逊云原生产品实践。是亚马逊云合作伙伴中首批落地的 RAG 解决方案。通过 Lambda 托管 LangChain，以 Op