Al 原生数据库 Infinity 系统架构与 RAG 技术实践-张颖峰.pdf

1、RAG与AI原生数据库InfiniFlow英飞流创始人/张颖峰从RAG的发展看未来的AI Infra/张颖峰RAG的现状与未来文档文本块向量VectorDBEmbedding向量相似度提问答案查询结果文本切分相关文本块提示词提示词模版对话机器人搜索推荐CopilotEmbedding模型LLM基于向量数据库的RAG工作流程长上下文 LLM 之争模型派模型派RAG RAG 派派大海捞针强一般成本高低性能低高数据量百万千万Token无限数据多样性一般高Kimi百川文心一言通义OpenAIGemini 1.5Claude 3长上下文 LLM 之争n成本降低很容易，让聪明的模型变便宜比让便宜的模型变聪

2、明要容易很多n可以通过推理加速优化性能n长上下文 LLM 不仅可以大海捞针，还可以推理，RAG 只会检索一件事n大多数情况，用户的数据不会超过1MB，百万Token足够了我们的观点不论 LLM“大海捞针”能力有多强，RAG 永远不可少，但不是当下的 RAGLLMAI Native DatabaseAPI数据库日志网页结构化/半结构化数据文档音频视频图像非结构化数据搜索推荐个人助理对话机器人未来的 RAG未来的RAG举例”TimestampTimestamp:”54312131415,”AttributesAttributes:namename:”John,”locationlocation:c

3、ity:LA,”ItemIDItemID:”uuid-123”UserIDUserIDScoreScoreNameNameUser Profile User Profile EmbeddingEmbeddingBehavior Behavior EmbeddingEmbedding10198”John”0.1,0.2,0.70.3,0.2,0.910296.5“William”0.5,0.3,0.60.8,0.2,0.910397“Lucy”0.8,0.3,0.40.5,0.4,0.1UserIDUserIDScoreScoreNameName10198”John”10296.5“Willia

4、m”10397“Lucy”ItemIDItemID:”uuid-123,”AttributesAttributes:”categorycategory:”computer,”priceprice:50000,“Body”:”xxxx”CRM日志产品描述UserUserIDUserIDItemIDItemIDAttributesAttributesTimestampTimestamp1019810296.510397日志产品ItemIDItemIDAttributeAttributeNameNameEmbeddingEmbeddingDescriptionDescription10198”Joh

5、n”0.1,0.2,0.7xxx10296.5“William”0.5,0.3,0.6xxx10397“Lucy”0.8,0.3,0.4xxxn捞简历n交友n推荐系统n千里之行，始于足下n挑战一：向量无法提供精确查询n挑战三：Garbage In,Garbage Outn数据加工n数据库n文档结构识别n文字加工n多路召回n融合排序n挑战二：向量无法满足多样化查询需求InfiniFlow=Infinity+RAGFlow格式转换LLM 答案格式解析布局解析句法结构金融财报文档结构识别问答表格结构识别预训练模型模板引擎知识提取文档解析提示词模板多路召回问题查询分析Cross Attentional

6、 RerankerEmbedding 向量化简历PPTRAGFlow：基于视觉模型的文档理解Documentsn 文档结构识别n TSR 表格结构识别n 功能n 技术路线n YOLO 目标检测n Table Transformer?n 多模态 LLM？RAGFlow：基于视觉模型的文档理解文字块文字拼接文字块RAGFlow：有理有据的对话和引用生成Infinity：从向量数据库到AI原生数据库向量AI-native databaseCopilot对话机器人搜索推荐查询API提示词提问答案数据库APIs文档网页日志交易记录结构化/半结构化数据Infinit