尹春光、曹劼-Apache Flink 在翼支付的实践应用.pdf

上传人: 云闲 编号:101792 2021-09-01 31页 4.05MB

word格式文档无特别注明外均可编辑修改,预览文件经过压缩,下载原文更清晰!
三个皮匠报告文库所有资源均是客户上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作商用。

报告推荐

本文主要介绍了翼支付公司如何使用Apache Flink进行实时数据处理实践。翼支付是一家提供数字生活、数字金融、科技服务等多业务的公司,拥有庞大的用户群体和数据量。面对数据处理的高成本、低延迟需求、管理困难等挑战,翼支付采用了Flink进行实时数据处理,构建了先鉴平台,实现了智能决策系统。 核心数据包括:拥有4000+台服务器,日均处理千亿条数据,活跃用户数达到5000万,存量用户数达到5亿。在实践过程中,翼支付遇到了业务state数据一致性、指标重复计算、动态规则配置等问题,并通过扩展老任务、指标引擎作业等方法进行了解决。 翼支付的实践成果包括:基于SparkStreaming构建指标计算模块,引入Flink构建决策模块,基于Flink-Sql构建SQL模块,引入StructuredStreaming。先鉴平台支持定制化SQL指标场景,丰富的规则组合、策略服务功能,多样化数据源,丰富的表达式和复杂决策逻辑,全链路、多维度、细粒度的监控体系。 未来的规划是继续使用Flink进行批流融合,动态扩容,以满足业务的发展需求。
"翼支付如何利用Apache Flink提升业务效率?" "先鉴平台如何实现企业级智能决策与数据服务?" "在实时计算中,翼支付面临了哪些挑战与解决方案?"
客服
商务合作
小程序
服务号