闵文俊-蚂蚁金服实时计算引擎建设.pdf

《闵文俊-蚂蚁金服实时计算引擎建设.pdf》由会员分享，可在线阅读，更多相关《闵文俊-蚂蚁金服实时计算引擎建设.pdf（21页珍藏版）》请在三个皮匠报告上搜索。

1、蚂蚁金服实时计算引擎建设闵文俊/蚂蚁集团技术专家云化实践SQL算子与运行时优化未来展望#1#2#3#1云化实践云化实践 Native Kubernetes 部署 结合蚂蚁云原生组件，提供云原生的体验 通过operator组件，进行作业管理以及和内部组件交互轻量化运维145632更好的隔离性资源使用效率无盘化日志采集nydus镜像加速kata安全容器资源动态伸缩框架Vpa In-place update资源推荐算法JVMOOM处理资源效能提升资源效能提升Pod资源画像Jdk11 G1 Elastic Heap内存预留特性监听K8S OOM Event 处理升级使用JemallocStateBac

2、kend严格的内存控制HBO资源效能提升资源动态升缩框架 VPA(Vertical Pod Autoscaler)Inplace Updater Pod粒度资源画像 Moving window算法画像推荐资源效能提升资源动态升缩框架 HBO 根据SQL，参数，jar，vertex等信息构建pod唯一标识 调度期的固定稳定性问题 断网演练触发HA代码bug引起无法恢复问题 FLINK-24021 批任务运行结束后无法退出的问题 FLINK-23871 JobManager和IO线程共用线程池，导致Jm web ui卡住问题 FLINK-24124 JobManager节点hang住，卡在Cont

3、ainerCreating状态 FLINK-24633 JobManager节点删除后pod批量重建问题 FLINK-24713 流任务一定概率出现任务失败不再拉起问题 FLINK-24063 ApiServer升级触发的watch重建递归调用栈溢出问题 内部fix 集群模式探索k8s集群存在的问题 调度能力瓶颈 创建pod的速率和稳定性ip分配超时等 影响作业提交时间和成功率 资源缺乏弹性，无法带来更高的资源使用 效率，比较容易触发OOMKilled等问题当前支持的模式 Yarn/Kubernetes Session/Application/Job Mode集群模式探索集群模式的目标 让Fl

4、ink具有裸机的调度能力Standalone FLINK-23697 进一步提升整体的资源使用率 和作业模式结合，服务于不同的workload 提供更稳定和更友好的用户体验#2SQL优化多滑窗优化存在的问题 窗口状态存储冗余，checkpoint size大 触发timer过多，性能急剧下降 每个窗口每条数据单独更新，下游io放大多滑窗优化多滑窗优化-Flink-23181 work in progress SQL语法支持/通过优化规则识别 状态存储复用 timer复用 io合并减少对下游的压力Timer优化-Early Trigger 非周期性的timer注册优化timer数量 Flink-23031Timer优化-SlideWindow 增量式触发SQL修改状态迁移能力探索 现在场景无法识别这种sql不兼容，可能会导致计算错误 状态存储Row的schema发生变化 兼容场景SQL修改状态迁移能力探索 状态算子的列的血缘信息 兼容方式 多版本的Lazy恢复 每次全量恢复#3未来展望未来展望 作业模式+集群模式服务不同的业务负载 大规模的批任务场景支持+k8s shuffle service+remote shuffle 能力 SQL算子状态兼容场景的拓展 自动化的调优 社区贡献