7-4 基于 Flink 的实时计算平台在新能源充电行业实践.pdf

《7-4 基于 Flink 的实时计算平台在新能源充电行业实践.pdf》由会员分享，可在线阅读，更多相关《7-4 基于 Flink 的实时计算平台在新能源充电行业实践.pdf（31页珍藏版）》请在三个皮匠报告上搜索。

1、基于FLINK的实时计算平台在新能源充电行业实践张海瑞 大数据开发工程师|01特来电特来电及行业及行业简介简介02特来电特来电实时计算平台简介实时计算平台简介03Flink在特来电的在特来电的应用场景应用场景04Flink在特来电的在特来电的未来展望未来展望目录目录 CONTENT|特来电及行业简介01|充电是关系国计民生的新基建|要加强新型基础设施建设（即新基建），发展新一代信息网络，拓展5G应用，建设充电桩，推广新能源汽车，激发新消费需求、助力产业升级。-2020年政府工作报告截至2022.04.22行业发展情况-截至2021年10月|特来电云平台|特来电实时计算平台简介02|实时计算平台

2、现状|1 0+业务类型1 0 0+集群节点数2 0 0+任务总数2 0 0 0 w+QPS峰值实时计算平台技术演进路程|2017 Q2探索Spark，Flink等实时计算引擎探索2018 Q2确认选型后，基于Flink建设实时计算平台试点2 0 1 9 Q 3平 台 功 能 趋 于 完 善，大 批 需 求 基 于 平 台 线 上 发 布应用2 0 2 1 Q 1平 台 运 行 任 务 2 0 0+;应 用 场 景:实 时 风 控、充 电 安 全 防 护、智 能 运 维、实 时 数 仓.推广平台建设初期问题回顾|01开发门槛高开发门槛高公司以.NET技术栈为主，如何用低学习成本，让业务人员利用流

3、计算的思维赋能现有业务02任务管理难任务管理难随着业务增长任务越来越多，任务版本越来越多，难以管理03没有监控预警体系没有监控预警体系集群、任务等运行状态无法进行监控和运维报警体系04UDF杂乱无章杂乱无章需求增加的同时，用户对自定义函数的依赖越来越多实时计算平台架构|开发拖拉拽UDF插件式FlinkSql调试预览部署一键发布多版本运行资源配置Yarn用户权限管理任务多级目录运维故障切换流程监控元数据管理自动化预警日志管理系统集群管理中心实时计算平台功能|一站式实时计算平台，提供数据集成、数据开发、作业保障、资源管理等功能拖拉拽的任务开发|容易上手3年.NET系开发人员，5h内具备独立开发流式

4、ETL计算任务逻辑清晰业务逻辑清晰易懂，并且更方便后续的任务运维工作多版本的任务管理|运维简单任务快速回滚问题排查定位监控与报警|监控特全面方便运维及开发任务查看任务、集群的历史运行状态预警特放心任务基于平台发布后，自动搭配20余个维度预警UDF管理|订单编号补全充电报文解析1.多任务复用2.跨组织使用3.构建充电行业算法库UDF可靠性jar包在上传前经过测试平台的测试后方可投入使用，以降低函数所带来的安全风险提高开发效率UDF可以在不同业务组间得到复用Flink在特来电的应用场景03|场景一：实时数仓场景一:实时数仓-订单宽表|C 端APP订单功率曲线B 端报表数据分析运 营运营看板运营分析

5、运 维运维看板智能运维场景一:实时数仓-订单宽表|8+订单业务类型1 0 0 0 W+日均订单事件数4 0+维表个数4 0 0 0 w+维表数据总量订单宽表处理流程v1.0|基于关系型数据库，完成订单宽表处理问题 -时效性低 -订单查询出来的结果存在延时。-计算压力大 -清洗计算的时间越来越长，导致数据同步的延时增加。-信息不完整 -大数据订单宽表由多个数据库、多种类型的数据源融合订单宽表处理流程v2.0|基于Flink的实时架构下的订单处理流程业务效果|1s40+3000w+200w+延迟维表数维表数据总量 通过热存储关联和双流join方式完成，整个过程在实时计算平台完全通过FlinkSql

6、完成开发工作。QPS峰值场景二：充电安全|车辆安全档案安全模型检测维度充电安全服务减少烧车事故6 0 0万+3 6个3 6个7 5%6 0 0万+场景二：充电安全|充电前提醒、充电中监控与阻断及限充、充电后量化打分充电安全防护的实现|业务效果 -高吞吐 -日均并行处理超过8T报文数据 -低延迟 -防护过程在1s内完成 -高容错性 -状态的使用与持久化 -重启策略 安全防护处理流程遇到的问题|01开发效率低单事件类型的防护和预警需要使用dataStream开发，效率低。02配置