2-Demo 谢亚东 基于 Monitoring REST API 的 Flink 轻量级作业诊断 - MG的副本_compressed.pdf

《2-Demo 谢亚东 基于 Monitoring REST API 的 Flink 轻量级作业诊断 - MG的副本_compressed.pdf》由会员分享，可在线阅读，更多相关《2-Demo 谢亚东 基于 Monitoring REST API 的 Flink 轻量级作业诊断 - MG的副本_compressed.pdf（40页珍藏版）》请在三个皮匠报告上搜索。

1、基于 Monitoring REST PI 的 F/ink 轻I级作业E断 F亚东 阿里巴巴技A专家 / F/ink Runtime Web 作者 轻量2作业诊断 #2 作业诊断的复杂度 #1 3度划分#指标4判 #3 轻量2作业诊断演1 #4 作业诊断的复杂#1 Flink 作业生命周期维度 作业启动 作业运行 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Flink 架构维度 ? ? ? ? ? ? Flink 运行环境 YarnKubernetes ? Flink 诊断手段 ? ? ? ? ? ? ? ?

2、外部监控系统 ? ? ? ? ? ? ? ? Flink untime Web ? ? ? ? ? ? ? ? 轻量#作业诊断#2 轻量级作业诊断 数据指标可以衡量 ? 不需要安装部署服务 ? 结果容易理解 ? 反映作业实际运行情况 ? Flink 排错调优经验 查看作业运行状态查看是否有 f iled checkpoint查看 checkpoints dur tion 查看 jobm n ger log 检索关键词 观察 source vertex bytes sent 观察 sink vertex bytes received 逐一查看 vertex 找出瓶颈节点 查看 job excep

3、tions逐一查看 vertex b ckpressure逐一查看 vertex subt sk bytes sent 判断是否数据倾F Flink etrics 指标获取 ? ? Monitoring R ST API Job manager ? ? ? ? ? ? Job ? ? ? ? ? ? ? ? ? ? ? ? task manager ? ? ? ? ? ? ? ? ? ? ? ? ? 轻量级作业诊断 ? ? 维度划分与指标评#3 作业诊断 Status ? ? ? ? ? Robustness ? ? ? Data rocessing ? ? ? 状态稳定 运行状态数据处理 运行状态 Status ? ? ? ? ? 运行状态 ? ? ? ? ? ? ? ? 数据处理 Data rocessing ? ? ? 数据处理 ? ? ? ? 数据处理 / 反 ? ? ? ? ?