使用+Amazon+Step+Functions+轻松构建可扩展的生成式+AI+工作流.pdf

1、 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。使用AmazonAmazon Step FunctionsStep Functions轻松构建可扩展的生成式AI AI 工作流王景辉无服务器解决方案架构师亚马逊云科技 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。本次分享的目标是回答：如何在生成式 AI 应用中进行复杂的工作流编排如何快速迭代与测试生成式 AI 应用如何为每个子任务找到最合适的基础模型（LLM）如何在工作流中引入人工

2、审核 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。最简单的生成式AI AI 应用用户生成式AI AI 应用用户输入LLMLLMLLM LLM 提示词应用响应LLM LLM 响应 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。使用RAG RAG 模式，基于您的数据构建独一无二的应用用户生成式AI AI 应用用户输入应用响应指令（提示词模板/prompt template/prompt template）上下文聊天历史与状态信息从数据库或API API 获取的数据工程化提示词LLM LLM 响应上下文 +指令根据特定

3、场景优化的LLMLLM或通用LLMLLM生成式AI AI 应用负责编排【数据源】和【LLMLLM】之间的集成 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。LangchainLangchain基本RAGRAG 架构用户用户输入工程化提示词应用响应LLM LLM 响应上下文 +指令根据特定场景优化的LLMLLM或通用LLMLLM指令from langchain.prompts import PromptTemplate上下文from langchain.memory import DynamoDBChatMessageHistoryfrom langcha

4、in.vectorstores import OpenSearchVectorSearch生成式AI AI 应用负责编排【数据源】和【LLMLLM】之间的集成 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。在提示词工程(prompt engineering)(prompt engineering)中使用RAGRAG你是一个保险公司的聊天助手。使用友好且富有信息的回应来答复和保险有关的问题。用户是 李华，住在北京三里屯 并且 拥有一辆 XXX 车型，家庭成员包括 梅梅（妻子）和 李四（儿子）。汽车保险是最常用的个人保险类型之一。大多数国家和地区都要求你购买

5、某种保险才能在该国家或地区合法驾驶。引用来源：用户说：我想给车买个保险提示词工程使用提示词模板填充语义上下文和外部数据“我想给车买个保险”用户输入指令场景上下文用户的输入/实际问题使用 embedding 获取的语义上下文 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。工作流示例子任务：判断任务路由(Claude 3(Claude 3 Haiku)Haiku)指令：基于用户输入，找到最合适的任务路由 路由：GetOfferGetOffer ;描述：当用户抱怨价格的时候使用此路由/用户：目前的价格超出了我的预算LLM LLM 输出：GetOfferGetO

6、ffer /178 Input tokens,6 Output tokens 250ms/178 Input tokens,6 Output tokens 250ms路由器控制流if(if(routeNamerouteName =GetOfferGetOffer)GetOfferGetOffer();();子任务:生成API API 请求的JSON bodyJSON body(Claude instant)(Claude instant)指令：理解用户的需求，转换为JSONJSON用户：目前的价格超出了我的预算 id:321;price:50id:321;price:50/OpenAPIdef