郭勇良-复杂业务场景下 RCA Agent 的探索实践.pdf

1、复杂业务场景下RCA Agent的探索实践郭勇良快手 资深服务端架构师目录010203业务场景的落地挑战背景和痛点总结和展望核心机制和架构设计04要解决的问题背景和痛点AI浪潮之下.编码工作大体上已被攻克软件工程被解决了吗？AI Coding后，组织效能 和 个人效能 间仍存在巨大差距大型公司（微软）+成熟团队的“典型工作日”分配为什么需要RCA Agent微软Today was a Good Day:The Daily Life of Software Developers5971 份有效响应（响应率 15.5%）平均从业年限 10 年。2025年DORA报告：人工智能辅助软件开发现状调查报

2、告OpenClaw在一场史上最大版本的更新后，因激进、无兼容层的破坏性重构，大量用户反馈插件瘫痪、功能失效。AI Coding是不够的“排障是下个待解问题”随着人对代码掌控下降，“AI排障从可选项变为必选项”我们要解决什么场景？基础设施层 中间件层业务层容器故障节点故障网络故障Cache异常DB异常MQ异常核心指标下跌风暴告警跨系统传播业务层异常是 用户体验、收入 的直接体现业务逻辑可能随时调整，是易变的业务问题是无法预测步骤数量的开放问题业务层问题特点 RCA Agent同样的“时长下跌”问题：可能是Redis慢查询、GC、基础设施异常、代码bug每种根因的排查路径截然不同且无法预先枚举。这

3、种情况下，需要LLM动态决策下一步做什么（继续追踪日志？查找变更、回滚版本？）问题场景.四个挑战：理解业务、对抗噪声、衡量不确定性、对抗幻觉业务场景落地挑战内源外源主动被动大主播口播、导致直播送礼量尖峰3.1日-3.5日，全国中小学开学，用户流量下跌暴雪停课、春种秋收等导致的流量上涨业务玩法、安全策略变更导致指标下跌活动放量引流，导致用户点击量提升程序/配置 变更导致故障压测、演练、逃生事件Nginx宕机、DB宕机Redis层大Key热Key服务容量不足主动&被动/内部&外部 并存：外部原因有相当一部分占比，这部分难以归因。噪声和信号并存：很多告警是噪声、但也有非常重要的“信号”。并非都是故障

4、：很多“信号”是预期内的、少部分预期外外引发故障。巨大的状态空间：排查内部链路指标之外，也要考虑外部外部因素。挑战一：如何让AI理解业务业务现实十分复杂可能引起告警或指标波动的事件理解业务：业务场景案例 请求异常上涨AA部门服务B部门服务主站服务快手APP！用户请求异常上涨！A服务是核心业务入口服务，指标异常。直接下游有100+，包含多部门服务，成功率全部正常。首先，是不是问题？是外部有热点事件发生，用户涌入？还是内部有啥变更影响了？其次，假设是问题怎么排查？拉所有下游owner逐一确认？变更列表中所有可疑变更全部回滚？扩大到业务域范围上升？可用率 99.99%理解业务：业务场景案例 真实根因

5、ABCDEFA部门服务B部门服务主站服务推荐质量下降配置发布、引入bug失败率增加服务Core dump内部降级A的直接下游有100+，全部正常快手APP请求正常，实际接口字段缺失！用户请求异常上涨！推荐质量下降导致用户反复请求刷新反常识：推荐质量下降反而导致了请求量的增加。异常传播中断：中间服务降级、导致故障链路被“掩盖”，传导中断。跨部门协同：即使机制完善、效率再高，也有信息传递成本和折损。一次排障，大量人员参与.理解业务：业务场景案例 AI怎么解？ABCDEFA部门服务B部门服务主站服务推荐质量下降配置发布、引入bug失败率增加服务Core dump内部降级A的直接下游有100+，全部正

6、常快手APP请求正常，实际接口字段缺失！用户请求异常上涨！LogTraceMetrics三板斧是否足够？断点1：Metric无法关联，依赖业务经验断点2：Metric正常业务Log缺失技术指标外，必须理解业务理解业务：建立业务上下文代码是唯一真实的文档GITLogTraceMetricsChange Event如：某业务错误码语义、开关变更的逻辑影响Claude Agent SDK单库任务平均耗时30分钟.PI Coding Agent单库任务平均耗时5分钟.换轻量库新的效率瓶颈：多库关联分析（3-5个 Repo）链路服务多、SDK依赖复杂、一次排障涉及多个仓库5min*（3-5）=15min