钱泓锦-RAG 2.0：记忆驱动的下一代检索增强系统.pdf

1、钱泓锦 智源研究院研究员负责大语言模型检索增强领域的研究工作。2024年博士毕业于中国人民大学高瓴人工智能学院，研究方向为自然语言处理和信息检索，曾在ACL、EMNLP、SIGIR、theWebConf等国际会议发表多篇论文，获theWebConf 2023最佳论文提名。演讲主题：RAG 2.0：记忆驱动的下一代检索增强系统RAG 2.0：记忆驱动的下代检索增强系统钱泓锦北京智源研究院2024-11我们为什么需要RAG？个好的RAG是什么样的？RAG 1.0:基于向量检索的RAG系统RAG 2.0:基于记忆驱动的RAG系统我们为什么需要RAG？PART1基本定义 RAG is an AI fr

2、amework for retrieving facts from an external knowledge base to ground large language models(LLMs)on the most accurate,up-to-date information and to give users insight into LLMs generative process.External KnowledgeChunkIndexRetrieveGenerateResponse(a)Standard RAGInput Query基本定义Retrieval-Augmented G

3、eneration for Large Language Models:A Survey,Gao et al.,2024我们为什么需要RAG？吾也有涯，知也涯。以有涯随涯，殆已！庄我们为什么需要RAG？吾也有涯，知也涯。以有涯随涯，殆已！庄Working contextExternal knowledge 128 K 128 M我们为什么需要RAG？吾也有涯，知也涯。以有涯随涯，殆已！庄Working contextExternal knowledge 128 K 128 M吾窗也有涯，知也涯。以有涯随涯，殆已！LLM吾Memory也有涯，Tensor也涯。以有涯随涯，OOM已！GPU我们为什

4、么需要RAG？苟日新，日日新，又日新 礼记学我们为什么需要RAG？苟日新，日日新，又日新 礼记学Parametric knowledgeNew knowledge我们为什么需要RAG？苟日新，日日新，又日新 礼记学Parametric knowledgeNew knowledge哈斯和特朗普谁当选了美国总统？据我所知，哈斯不是美国总统候选。北京哪家兰州好吃？兰州正宗。东城区建国街道卫服务中电话多少？我不知道。Knowledge cut-offLong-tail knowledgeDomain KnowledgeRAG是类的种主要认知式“类与动物的本质区别在于对知识的系统性创造与积累。类不仅利用

5、外部信息，更通过字、图书、互联等技术段记录和共享知识，使其超越个体记忆与时间局限，形成全球性、代际传承的知识体系。这种技术驱动的知识扩展能，奠定了类明的独特优势。”The Evolution of KnowledgeRAG是类的种主要认知式“类与动物的本质区别在于对知识的系统性创造与积累。类不仅利用外部信息，更通过字、图书、互联等技术段记录和共享知识，使其超越个体记忆与时间局限，形成全球性、代际传承的知识体系。这种技术驱动的知识扩展能，奠定了类明的独特优势。”The Evolution of KnowledgeRAG可能成为类信息获取的主要途径Gartner Predicts：“到2026年，

6、少1/4的信息获取需求将由智能信息助完成。包括AI Chatbot和AI Agent。”2001:Web Service2018:Deep Learning2023:Generative AI个好的RAG是什么样的？PART2基本定义 RAG is an AI framework for retrieving facts from an external knowledge base to ground large language models(LLMs)on the most accurate,up-to-date information and to give users insight