尹一峰-RAG 基本范式的选择与系统设计.pdf

1、RAG 基本范式的选择与系统设计演讲：尹峰Hugging Face,Machine Learning Engineer0102030405录RAG 简介Semantic Search 到底是在做什么？系统设计KG RAG未来的趋势与挑战RAG 简介01我们为什么需要RAG？为什么需要RAG？LLM的两个问题：再训练成本 世界在改变，现实世界的数据分布在改变（Distribution shift/Concept Drift etc）以反向传播训练的模型法做到牵发不动全身 每次训练成本都很（需要混之前的数据，测试等等）对于通模型，训练结束过时 幻觉 LLM是回归概率模型 法彻底根除幻觉，但可以缓解

2、症状为什么需要RAG？问题如何解决？主流 LLM 是以 transformer 架构驱动的回归模型（事情正在起变化，后细说）条件概率模型 理论上说，通过调整 prompt，我们可以让 LLM 输出任何 token 组合 LLM 的两个问题都可以通过调整 prompt 来缓解 RAG 的本质就是通过调整回归条件来优化输出 Prompt EngineeringP(x)=ni=1p(xi|prompt,xi)为什么需要RAG？RAG：通过检索的式选择 Prompt Engineering 的材料 任何形式的搜索都可以 SQL，搜索引擎，Vector Database,Elastic Search e

3、tc 只要能把合适的件找到就可以 通过改变条件影响输出分布 新知识 对抗 Distribution Shift 相关件 减少幻觉Semantic Search 到底在做什么？02Semantic Search 起源Metric Embedding 将件投射到个维度测度空间(Metric Space)Metric Distance Function:与距离为 0，两个不同的点距离于 0，距离对称，三不等式 投射函数让量间的距离有意义 Semantic Search 将件投射到个维度空间（不定是测度空间）测度距离亦可使（Cosine Distance etc）投射函数（Embedding Mode

4、l）让量间的距离有意义Semantic Search 到底是在做什么数据库检索有什么诀窍？Indexing！传统数据库持通过 Index 快速查找数据 前提是知道具体需要什么 有时我们不知道我们到底要哪条数据 但传统数据库不持通过 Index 判断该数据与 Query 的适配程度 如何解决这个问题？我们能否件本身来做 Index？Semantic Search！Semantic Search 到底是在做什么Document as Index!Semantic Search 的本质是直接以件本身为 Index 直接对件与 Query（的 Embedding）可以最限度的确定件与 Query 的适

5、配性（Retrieve and Rerank etc）灵活性巨 低资源件 件 Multi-Vector RetrievalSemantic Search 到底是在做什么例：建个关于 Rust 的代码向量数据库 Embedding 模型的训练数据中，然语的数量远远于 Rust 也就是说，Embedding 模型对然语的理解远胜于 Rust Query 多数也是然语 然语做 Rust 的 index(Document as Index)向量：然语（代码注释，readme，doc string etc）:Rust 然语做代码的 Index，再 Embedding 向量做然语的 Index Query

6、 和代码注释都是然语Semantic Search 到底是在做什么例：建个超件，需要完整取回（不能Chunk）的向量数据库 Embedding 模型的上下度可能不以持超件 LLM 的上下度可以很 能否缩短本度？件的总结可以很短！向量：本的总结：本 可 LLM 帮助总结(Hypothetical questioning etc)同样的法可于多模态 向量：其他模态数据的然语描述：其他模态数据Semantic Search 到底是在做什么Semantic Search 到底是在做什么Semantic Search 为什么看上去将就？要快速检索批数据，我们需要对这些数据做什么？数据结构！各种树，图，H