RAG 商业落地实践踩坑-高原.pdf

1、句子互动句子互动xiang mu xue lei shi句子互动句子互动句子互动句子互动句子互动联合创始人&CTOSam Altman 在 Y-Combinator 带的最后一届校友奇绩创坛 S23 校友2w+star 开源社区 Wechaty 核心 contributor前 Amazon，Expedia 全栈工程师句子互动句子互动需求描述踩坑经历DemoQ&A句子互动句子互动RAG 是 Retrival Augment Generation 的缩写，直译过来就是【检索增强生成】将大模型比喻成一个高中生，学会了基础学科的知识，有基础的逻辑和理解能力，RAG 就是给这个大学生一个搜索引擎没有搜索

2、引擎之前，问一个高中生什么是数据库死锁，他无法回答，但是有了搜索引擎，通过搜索相关的知识，这个高中生就能回答这个问题句子互动句子互动大模型配合 RAG 的时候通常使用 Embedding 技术来进行文本内容之间的相似度匹配Embedding 技术是通过算法将文本转换成数字向量，然后通过转换后的数字向量之间的距离来判断文本之间的相似程度，进而通过这样的方式来搜索找到相关的文本内容句子互动句子互动希望搭建一个专家级营养师的IP形象，对外提供自动化的咨询问答服务建立AI知识库，训练AI智能对话的某类型知识来源范围需限制在知识库内设定某些对话（如激烈的情绪反应、产品活动价格等咨询）自动转人工客服遇到无

3、法回答的问题自动转人工客服句子互动句子互动分类器RAG句子互动句子互动The show begins句子互动句子互动用户希望机器人能够基于产品信息进行回复和推荐产品信息是一个 SKU 表格句子互动句子互动98个SKU十余种属性结构化数据句子互动句子互动结构化检索如何根据用户的问题产生结构化检索参数问题LLM分析检索参数检索结构化数据LLM生成回答链路太长浪费LLM资源句子互动句子互动将表格内容转换成问答数据，以FAQ的形式检索和存储问题相似度高则直接回答通过文本相似度可以匹配相关内容句子互动句子互动因为一点点效果沾沾自喜句子互动句子互动无法投产，不敢用推荐的不准，老转人工AI推荐速度比较慢智能

4、推荐每次都要点击智能推荐每次都要修改句子互动句子互动客户组织一个业务测试团队（若干人），每次交付一个版本之后，进行批量测试，并对测试结果进行主观打分（10分满分）针对所有测试人员的测试结果，对分数取平均值，当超过8分的时候，即为达到验收标准签字画押句子互动句子互动项目前后半年多打分从一开始的3.39到最后的9.01，多次迭代的结果每一轮的验收都是内部先多轮测试验证，确认超过了上一轮的预期再给到客户句子互动句子互动embedding是一种基于文本字符的向量算法，无法理解语意匹配出来的结果，有时候预期中最希望命中的，往往不是相似度最高的那个LLM 生成的时候，都有token上限为了不超过上限，需要

5、对匹配结果按照相似度选前 k 个匹配结果最终希望命中的那一个，没有成功进入到 LLM prompt 里Total TokenSystem+Context(40%)History(35%)Completion(25%)RAGRAG句子互动句子互动场景一场景一知识1知识2知识3知识4知识5tokentoken上限上限真实相关的知识并没有被以最高相似度而匹配出来token长度限制，没有排在前面的知识就没有被选中并放入到prompt里面句子互动句子互动如何提高如何提高 embedding embedding 相似度？相似度？更换更换embeddingembedding算法算法添加更多的相似问添加更多的

6、相似问句子互动句子互动如何提高如何提高 embedding embedding 相似度？相似度？更换更换embeddingembedding算法算法添加更多的相似问添加更多的相似问为什么为什么 Embedding Embedding 这么蠢？！这么蠢？！句子互动句子互动如何提高如何提高 embedding embedding 相似度？相似度？更换更换embeddingembedding算法算法添加更多的相似问添加更多的相似问不提高相似度不提高相似度但是能让最相关的内容能被放到但是能让最相关的内容能被放到 Prompt Prompt 里里句子互动句子互动解