尹春光、曹劼-Apache Flink 在翼支付的实践应用.pdf

1、曹劼翼支付高级开发工程师尹春光 翼支付高级开发工程师Apache Apache FlinkFlink 在翼支付的实践应用在翼支付的实践应用公司简介公司简介#1先鉴平台先鉴平台#2实践中的问题实践中的问题#3案例实践案例实践#4未来规划未来规划#5#1#1公司简介公司简介公司概况民生缴费金融理财消费购物翼支付云计算人工智能大数据主要业务数字生活数字金融科技服务民生服务5G权益信贷理财保险企业征信企业信用报告企业资质审核数智天翼金融云聚合收单小微支付大客户业务保理橙分期甜橙借钱企业白条业务规模业务体量总服务器：4000+台日均记录数：千亿条数据容量活跃用户数(月）：5000w+存量用户数：5亿+业

2、务挑战p 数据量：单topic峰值达到220w/sp 低延迟需求：业务响应时间 200msp 高成本：指标重复加工，各业务线烟囱式发展p 管理困难：指标口径不一致，计算链路复杂实时平台体系2019.03基于SparkStreaming构建指标计算模块2020.09引入Flink 1.9 构建决策模块2018之前实时应用摸索状态2021.04基于Flink-Sql构建SQL模块2020.01引入StructuredStreaming#2 2先鉴平台先鉴平台-企业级智能决策系统企业级智能决策系统指标加工决策引擎数据服务全链路监控先鉴功能概述支持定制化SQL指标场景支持丰富的规则组合、策略服务功能支

3、持多样化数据源支持丰富的表达式和复杂决策逻辑全链路、多维度、细粒度的监控体系整合-离线-实时-外部数据提供23种基础算法模板先鉴平台-逻辑架构业务数据集团专区数据用户行为数据外部数据实时计算批量计算其他个性化实时决策需求智慧营销实时营销策略配置智能推荐推荐策略配置智能风控反欺诈策略配置智能信贷实时信贷策略配置ETLDTS策略管理决策监控开发中心web决策库配置服务决策服务（API/中间件）决策引擎决策引擎RedisHbase中间件MySQL存储Index Computing实时指标加工Streaming SQL实时指标加工自助BI SQL数据服务自助查询指标加工应用层决策指标加工计算引擎数据层

4、指标加工模块任务配置权限认证WebFront资源配置WebBackendDSL Generator数据源中间件维表MysqlHBaseRedisHDFS指标模块kernelSql ParserUDF LoaderMode SelectorJarSQLFilterConfig LoaderAlgorithm TemplateGraphGeneratorProgramDeployerDSL Parser数据输出MysqlHBaseRedisHDFSCKKafkaPulsarESHDFSYarn计算集群sql解析145632沙箱测试、UDF加载细粒度资源配置任务状态监控Stream SQL自动恢复实

5、时指标模块对用户屏蔽组件信息，着重关注业务意义丰富的过滤、清洗、补足策略23种抽象模板算法，灵活组合第一步：配置数据schema第二步：配置清洗规则第三步：配置加工算法Stream SQL配置第一步：创建任务第二步：编写任务SQL第三步：提交/停止任务决策模块WebFront计算集群输入模块中间件输出模块Mysql HBaseRedisHDFSCKKafkaWebBackendDubboApiDecision-config CenterAuthentication ModuleRule GeneratorZK决策模块KernelZK WatcherRuleLoaderFlink CEPRule

6、CompilerYarnHDFS决策模块第一步：新建任务第二步：配置策略规则第三步：沙箱测试#3 3实践中的问题问题列表：p业务state数据一致性p指标重复计算p动态规则配置p全链路监控指标引擎从State恢复数据存在的问题：p手动开发的业务计算存储的数据在State中p指标计算引擎中没有单独管理业务数据的Statep旧任务迁移到指标引擎的时候数据一致性问题需要解决解决思路：p扩展老的任务从业务State中读取出状态数据存储到外部、然后停止老任务p指标引擎作业，从指定的of