基于 RAG 构建生成式 AI 应用最佳实践与 避坑指南-李元博.pdf

1、基于RAG构建生成式AI应用最佳实践与“避坑指南”亚马逊云科技人工智能技术专家/李元博个人简介互联网从事算法工作多年，目前在亚马逊云科技负责AIML/GenAI/Analytic跨领域的端到端产品方案最佳实践研究和应用落地李元博亚马逊云科技人工智能技术专家目录RAG场景及技术特点RAG实践经验总结RAG场景中的亚马逊云产品亮点RAG场景及技术特点RAG概念流程图企业知识文档EmbeddingLLM文档片段1文档片段2文档片段3FAQ 1FAQ 2Embedding1Embedding2Embedding3Embedding4EmbeddingNAmazon Cleanrooms最多支持多少个参

2、与方？请根据以下内容进行回答，如果无法回答不要编造，回答不知道即可。上下文：Knowledge问题：Amazon Cleanrooms最多支持多少个参与方？答案：私有知识库知识构造知识问答答案：最多5个参与方相似内容召回构建Prompt知识文档向量注入RAG适用典型的木桶理论场景知识质量知识质量检索效果检索效果LLM理解能力理解能力走通流程走通流程落地生产落地生产难度系数难度系数OpenAI 关于RAG的分享RAG场景分类维度维度分类分类描述描述Tips按使用场按使用场景景Chatbot一问一答聊天交互召回topK记录给到LLM归纳总结，返回答案对于置信度高的召回，可以直接返回top one而

3、不走LLM归纳总结（避免LLM幻觉或自由发挥）。比如某车企的Chatbot通过此方式获得95%的准确率误答容忍度低智能检索知识检索形式交互除了返回LLM总结的答案，可选择展示top K的召回记录以及知识源语料因为返回多条记录，对知识相关性容忍度相对较高可使用引导式检索，逐步获取精准答案按知识类按知识类型型FAQ对按问答对的方式构建知识知识信息量完整，知识质量高按FAQ对进行切片，保证语义完整性现有客服场景通常都有语料积累，知识构建相对高效上线相对容易PDF/word等各类文档原始文档格式多样，比如各类wiki，产品说明书等，含有表格、图文等信息知识质量可能参差不齐，密度低通常按句子，段落等进行

4、切片，较FAQ对切片方式复杂，需要结合实际文档来保证语义完整性表格需要额外处理，暂时不建议对图片处理按使用对按使用对象象服务内部用户比如企业内部知识库，IT/HR 知识库内部人员和并发等因素可控，上线相对容易服务外部用户比如各行业对外的智能客服，游戏的NPC对并发/吞吐等性能指标有较高要求，另外需要考虑内容风控比如屏蔽涉黄/涉恐/涉暴话题RAG实践经验总结技术层面经验总结知识构建 知识质量不好咋办？格式复杂还有表格咋办？量大注入慢咋办？核心工作 知识召回效果差咋办？LLM幻觉咋办？怎么判断超出知识库范围？上线必备 如何判断LLM能支持多少QPS？中国区GPU选型问题？经验洞察 大模型选哪个？大

5、模型微调有用吗？Streaming response咋支持？Badcase 怎么排查？Bedrock怎么集成？知识构建知识构建 知识质量不好咋办？知识质量不好咋办？利用商业LLM做知识增强(原始FAQ/文档都适用)，建议结合人审问：什么是 Amazon EMR？答：Amazon EMR 是行业领先的云大数据平台，适用于使用多种开源框架进行数据处理、交互分析和机器学习，例如 Apache Spark、Apache Hive、Presto。借助 EMR，您可以用不到传统本地解决方案一半的成本运行 PB 级分析，并且其速度比标准 Apache Spark 快 1.7 倍以上。问：Amazon EMR

6、适用于哪些开源框架进行数据处理、交互分析和机器学习？,答：Amazon EMR适用于使用多种开源框架进行数据处理、交互分析和机器学习，例如 Apache Spark、Apache Hive、Presto。问：通过使用Amazon EMR，可以以什么样的成本运行PB级分析？,答：通过使用Amazon EMR，可以用不到传统本地解决方案一半的成本运行PB级分析。问：Amazon EMR相比标准Apache Spark有什么优势？,答：Amazon EMR相比标准Apache Spark的速度更快，快速度比标准Apache Spark快1.7倍以上。参考实现：Enhance_FAQ.py Enhan