《A3--张兆鑫--百度Prompt工程实践.pdf》由会员分享,可在线阅读,更多相关《A3--张兆鑫--百度Prompt工程实践.pdf(53页珍藏版)》请在三个皮匠报告上搜索。
1、百度Prompt工程实践张兆鑫百度 资深研发工程师张兆鑫百度 资深研发工程师百度认证内训师、vivo认证讲师百度Prompt工程研发平台负责人百度一站式测试管理平台负责人在DevOps研发流程、基于LLM的智能化测试、AI原生应用研发、研发效能提升等领域拥有丰富经验目录C O N T E N T S1.如何写好Prompt2.如何评估Prompt 3.如何工程化使用PromptPrompt是什么Prompt是一组指令和文本,作为大型语言模型的输入。通过这些指令和文本来引导大型语言模型完成我们的特定需求。好的Prompt和差的Prompt产生的结果有天壤之别。好的提示就像魔法咒语一样,能让大型语
2、言模型产生神奇的效果用文言文写一篇检讨书,需要有标题及落款用文言文写一篇检讨书,检讨多次上学迟到的问题,需要有标题及落款Prompt的重要性随着生成式AI技术的高速发展及AI原生应用研发场景在各业务线逐步开展,Prompt已成为用户、应用、LLM之间关键的桥梁和媒介通过Prompt可以有效使用大模型能力,快速完成AI原生应用的验证与交付AI原生应用研发使用大模型时,应该优先考虑通过Prompt调优解决问题,充分重视Prompt的研发,避免出现只是简单调试一下Prompt就误判效果不行而直接进行模型训练Al原生研发新范式Prompt开发AI应用原型快速验证Prompt调优AI应用研发快速交付AI
3、原生应用模型精调效果评估Prompt研发三部曲遵循一定的范式,手工生成、基于框架生成或智能生成,不断调试运行,并可进一步进行优化写好Prompt在完善的评估体系基础之上进行由浅入深的评估,从小数据量的快速评估到大数据量的Prompt效果评估,再到全面的端到端评估评估Prompt像代码开发一样管理Prompt的工程化使用流程,从发布、上线到监控,并且实现Prompt与工程代码的解耦。在整体上,多维度展示与跟踪Prompt研发流程工程化使用Prompt如何写好Prompt01如何写好Prompt提示的构成手工生成提示的原则提示的技术APE框架基于框架生成CARE框架TRACE框架TAG框架SAGE
4、框架ROSES 框架RTF框架SPAR框架SCOPE 框架根据任务描述生成智能生成根据输入输出示例生成根据专业模板生成Prompt生成Prompt运行模型选择模型参数调整Prompt内容微调token消耗量考量性能评估Prompt优化手工调优问题诊断自动调优遵循一定的范式,手工生成、基于框架生成或智能生成,不断调试运行,并可进一步进行优化Prompt生成:手工生成-提示的构成综合对大模型的任务类型来看,Prompt主要由四部分组成,即任务定义、输出要求、上下文、输入Prompt生成:手工生成-提示的原则01提示结构和清晰度例如,在提示中整合预期的听众,如听众是该领域的专家02具体性和信息例如,
5、在你的提示中添加以下短语“确保你的回答是无偏见的,不依赖于刻板印象。”03用户互动和参与例如,允许模型通过向你提问来获取精确的细节和要求,直到它有足够的信息来提供所需的输出“从现在开始,我希望你向我提出问题.”04内容和语言风格例如,与LLM交流无需礼貌,因此无需添加诸如“请”、“如果你不介意”、“谢谢”、“我想要”等短语,直接切入主题05复杂任务和编码提示例如,将复杂任务分解为一个互动对话中的一系列更简单的提示五大分类Prompt生成:手工生成-提示的技术设计提示的通用技巧从简单开始从简单的提示开始,随着获得更好的结果而不断构建,不断添加更多的元素和上下文指令可以使用命令来指示模型执行各种简
6、单任务,例如“写入”、“分类”、“总结”、“翻译”、“排序”等,从而为各种简单任务设计有效的提示。建议使用一些清晰的分隔符,如“#”,来分隔指令和上下文具体性有所期望的结果或生成样式,具有良好的格式和描述性提示,提供具体的示例,考虑提示的长度避免不精确提示要具体、简洁和直接做还是不做?避免说不要做什么,而是说要做什么Prompt生成:手工生成-提示的技术使用更高级的提示工程技术来完成更复杂和有趣的任务来自 Prompt Engineering GuidePrompt生成:手工生成-举个例子输入输出Prompt生成:基于框架生成基于框架来生成Prompt,可以以结构化的方式去思考问题,确保不遗漏