SRE－Copliot：基于大语言模型的智能运维架构-王宁.pdf

1、大语言模型智能运维框架LLM&Aiops 在字节跳动的探索与实践SRE-Copilot字节跳动-王宁AIOps 挑战赛方案SRE-Copilot架构SRE-Copilot技术细节在字节跳动的探索实践SRE-Copilot比赛方案阐述第一章节赛题及数据分析基于建行稳定性系统模拟建行生活类APP的真实环境希望解决企业运维团队面对规模庞大、结构复杂、动态变化的运维数据需要解决的一系列挑战系统架构图入网负载均衡集群RedisMySQLKafka抢券集群基础集群订单集群出网负载均衡集群 调用链数据 业务黄金指标 集群性能指标（容器、Linux系统等）系统日志数据描述SRE-Copilot 优势系统复杂，

2、海量数据痛点SRE-Copilot传统AIOPS数据无标注，训练成本高接入，维护成本高无法解决未知故障交互使用成本高单个运维专家，甚至单个团队难以掌握上下游全部知识，技术细节。也难以处理全部告警/异常大部分异常检测算法需要依赖标注，无监督算法能力一般。根因诊断算法更加依赖标注。专家经验很难编码成算法模型维护门槛高，要完全理解每一个复杂模型，客户的数据和系统都是私域的，需为客户现场定制与优化，增加了接入成本。调整或接入新数据要重新训练无法推理未知故障 交互复杂，需要严格传递参数等 大模型几乎能学习人类全部知识。通过Multi-Agent以及知识库可以无限扩展把专家经验经验转化为故障表现，让模型推

3、断，无需训练通过“混合专家模型”的集成学习概念，只需关注组件与模型，客户自己的模型/逻辑也可以像乐高积木一样轻松接入，灵活调整。甚至框架自己可以动态编排 LLM已经出现了涌现和推理能力，基于自己的通用知识，并且可以不断学习领域知识进行推理，似乎是解决新故障根因定位的最佳选择自然语言交互，更加智能，可以开放给更多用户知识库问答SRE-Copilot：基于function-call的多功能实现故障报告故障分类故障自愈+代码生成工作流生成（运维计划）运维可视化LLM优势：收敛模型统一入口，理解、拆分用户意图，编排调用不同工具，实现多场景复杂智能运维，并持续学习迭代比赛效果展示采用与建行云堡垒机同一套

4、代码复现 相近配置（8c16g显卡Nvidia Tesla-v100）模型chatglm3-6bSRE-Copilot架构第二章节AI-Agent相关概念：Tool callingFunction calling是可靠地将LLMs连接到外部工具以实现有效的工具使用和与外部API的交互的能力。“今天天气怎么样？”再智能的大模型对这个问题也束手无策AI-Agent相关概念：RAG检索增强生成（Retrieval-Augmented Generation，又称RAG）通过检索LLMs之外的数据源来支持其生成答案。RAG=搜索+LLM提示，根据用户的查询要求，LLMs会使用搜索算法从外部数据源获取上下

5、文信息，最后，查询和检索到的上下文合成后送入到LLM的提示中。私域知识“公司服务器的数量，线上的利用率是多少”“当前工单状态是什么”新知识问题“今天有哪些故障？”“最新电影的主演是谁”长尾问题“使用XX语言在某环境如何连接XX数据库”AI-Agent相关概念：Reason+Act ReAct是一种LLM提示和结果处理方法，它结合了推理、行动规划和知识来源的整合，使LLM超越其语言模型，在其预测中使用来自现实世界的信息。ReAct是推理和行动的结合。当任务是多步，或者任务复杂结果充满不确定时，react表现更好AI-Agent相关概念Agent智能体AI代理的整体框架由三个关键部分组成：大脑、感

6、知和行动。大脑：大脑主要由一个大型语言模型组成，不仅存储知识和记忆，还承担信息处理和决策功能，并能呈现推理和规划过程以处理未知任务。感知：感知模块的核心目的是将代理的感知空间从纯文本领域扩展到包括文本、听觉和视觉模态。行动：在代理的构建中，行动模块接收大脑模块发送的行动序列，并执行与环境交互的行动。代理（Agent）指能自主感知环境并采取行动实现目标的智能体。SRE-Copilot架构简介SRE-Copilot是基于LLM的多场景智能运维框架，支持Multi-Agent协作与动态编排，具备计划、记忆、反思、推理与ReAct等能力，为SRE提供智能化服务。参考GPT的思想，通过集成学习多个专业的