刘逸伦_datafun_打造LLMOps时代Prompt数据驱动引擎.pdf

1、DataFunConDataFunCon#20242024打造打造LLMOpsLLMOps时代时代PromptPrompt数据驱动引擎数据驱动引擎刘逸伦-华为-2012文本机器翻译实验室团队介绍：华为文本机器翻译实验室团队介绍：华为文本机器翻译实验室ContentsContents目录目录背景：从AIOps到LLMOps面临prompt挑战打造LLMOps Prompt application 引擎LLMOps持续成长源动力：Prompt learning 数据飞轮未来畅想01 01 背景：从背景：从AIOpsAIOps到到LLMOpsLLMOps面临面临promptprompt挑战挑战从从A

2、IOpsAIOps到到LLMOpsLLMOps：大模型强大的泛化能力和语言理解能力推动：大模型强大的泛化能力和语言理解能力推动AIOpsAIOps发展发展基于日志的自动化分析任务日志压缩Log Compress日志解析Log Parsing日志挖掘Log Mining异常检测Anomaly Detection故障预测Failure Prediction故障诊断Failure Diagnoses图：基于日志的自动化分析任务总结(https:/ application+Prompt learningapplication+Prompt learning是推动是推动LLMOpsLLMOps的关键引擎

3、的关键引擎 大语言模型大语言模型(LLM)(LLM)与提示词与提示词(Prompt)(Prompt)：大语言模型在预训练过程中学习了大量的物理世界知识，并将其转化成数字格式存储起来。Prompt充当人的认知世界与大模型数字世界的桥梁，解决模型意图理解和人类需求不一致的问题，使得模型能够更好地对齐人类的需求，完成特定任务。高质量的高质量的PromptPrompt增进人与模型的交互效率：增进人与模型的交互效率：高质量的Prompt帮助模型更清晰地理解人类目标，更好地转化内储知识，从而达到一条通往目标更清晰的推理路径，提升人与模型的交互效率。低质量的低质量的PromptPrompt导致模型训练效果下

4、降：导致模型训练效果下降：机生Prompt数据集(如Alpaca)采用大模型自动生成Prompt指令数据(Self-instruct策略)，但是其中可能含有低质量的Prompt数据，包含各种噪声，影响模型对人类需求的准确理解。包含不正确答案的Prompt样本更会导致模型学习到错误的问题-答案对齐依赖。图：大模型与Prompt的关系图：更好的Prompt策略带来模型性能的增长 图：堆砌低质量Prompt导致训练效果下降Prompt learningPrompt learning：在预设的问题-答案上训练模型，帮助模型理解人的意图和需要。Prompt Application Prompt Appl

5、ication：设计更有效的交互策略，生成符合人意图和需要的内容。现有技术痛点：现有技术痛点：LLMOpsLLMOps仍需从仍需从Prompt application Prompt application 和和Prompt learningPrompt learning发力发力痛点1：传统智能运维算法依赖于任务数据，专家标注耗时耗力痛点2：传统运维系统可解释性差、可交互性弱痛点3：Prompt 训练数据质量不稳定，导致模型性能下降痛点4：Prompt 训练数据全面性不足,损害AI能力的全面性LogPrompt:LogPrompt:基于领域基于领域Prompt Prompt applicatio

6、napplication策略驱动策略驱动LLMOpsLLMOps(ICSE 2024/ICPC 2024接收)CoachLM:PromptCoachLM:Prompt自动优化模自动优化模型打造型打造LLMOpsLLMOps数据飞轮数据飞轮(ICDE 2024 接收)Prompt Prompt application application Prompt Prompt learning learning Yilun Liu,Shimin Tao,Weibin Meng,Jingyu Wang,Wenbing Ma,et.al.2024.Interpretable Online Log Analy