2019年阿里超大规模Flink集群运维揭秘.pdf

1、G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站阿里超大规模Flink集群运维揭秘G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站目录阿里Flink集群运维挑战1Flink运维管控平台2Flink运维解决方案3阿里Flink运维碰到的挑战、思考、解决G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站阿里Flink集群发展背景和现状介绍阿里流计算引擎发展历史Galaxy(自研)JStorm(Storm)Blink(Flink)技术统一业务发展超大规模Flink集群流计算、批计算、机器学习.集群规模大 几万个计算节点 几百个集群系统复杂 几十个上

2、下游 底座多样化用户规模大 几千个用户 几万个作业出口多元化 专有云/公共云.几十个地域Flink服务每秒处理几十亿条消息！低延时、高吞吐、一致性G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站几个同学如何运维“奔跑着的大象”？运维挑战运维挑战：运维人力少，业务规模大，发展迅速稳定 如何减少服务故障 如何保障大促稳定 大量运维操作如何保持一致性成本 如何管理硬件资源 如何管理用户资源 如何降低运维人力成本效率 值班答疑 问题排查 如何减少人肉运维G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站以技术为基础的Flink运维技术解决方案效率标准化稳定性成本自动化

3、数据化Flink运维技术解决方案以技术为基础：Flink运维管控思考G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站目录阿里Flink集群运维挑战1Flink运维管控平台2Flink运维解决方案3G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站Flink运维管控介绍Flink运维管控架构及运维解决方案介绍定位：着力于稳定、成本、效率，提供一站式、超大规模Flink集群运维技术解决方案提供服务/集群/机器维度场景化运维管理，包括一键发布、启停服务等提供实时监控图表，运维实体健康度监控，定制化配置监控大盘提供资源生命周期管理，包括硬件自动化上下线，用户资源管理闭

4、环提供权限管理及审计功能，您能设置访问控制及管理操作日志提供数据化运维/运营增值功能，如智能诊断，故障自愈，ChatOpsFlink运维管控产品定位、用户、功能介绍G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站Flink运维管控架构Flink运维管控架构及运维解决方案介绍运维管控架构：数据层：运维元仓建设、实时/准确 服务层：运维服务提供、稳定/安全 功能层：用户功能场景、简单/高效运维解决方案：稳定：软件生命周期 成本：资源生命周期 效率：日常运维效率G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站一站式运维超大规模Flink集群！Flink运维管控功能

5、Flink运维管控功能介绍G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站目录阿里Flink集群运维挑战1Flink运维管控平台2Flink运维解决方案3运维管控上承载的技术解决方案介绍G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站稳定性：发布变更发布场景自动化，发布流程工单化实现稳定、高效大规模发布背景：集群多、发布场景复杂、流程复杂挑战：大规模集群如何稳定、高效地发布变更分钟级别提单，全服务集群自动化发布G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站稳定性：发布变更Flink作业透明升级方案上万个Flink作业如何升级？流计算作业是

6、长任务、不同版本State兼容性 作业升级流程复杂、数量规模大Flink运维管控作业升级方案G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站稳定性：服务故障故障是有生命周期的，通过技术手段来减少故障。异常隐患故障生命周期监控告警故障发生故障恢复1.故障隐患阶段目标：主动发现、自愈2.故障发生阶段目标：快速发现、恢复服务正常目标：减少故障传统对于故障的认识：来临前：不期而至，没法避免，被动 来临时：各种问题，手忙脚乱，救火 结束后：加报警，改过程，靠人肉重新认识故障：故障是有生命周期的 技术手段，系统地减少故障，低成本维护G O P S 全 球 运 维 大 会 2 0 1 9