林佳-网易游戏基于Flink的支付环境全关联分析实践.pdf

1、林佳/网易互娱技术中心计费实时业务技术负责人Apache Flink Contributor网易游戏基于网易游戏基于FlinkFlink的支付环境全关联分析实践的支付环境全关联分析实践Practice of Analyzing Heterogeneous Data From Pay Environment based on Flink in NetEase Game基础设施&数据业务游戏游戏氪金！#1#1从一次从一次APPAPP内购买支付聊起内购买支付聊起一次一次AppApp内购买内购买客户端渠道计费中心游戏服一次一次AppApp内购买内购买客户端渠道计费中心游戏服一次一次AppApp内购买内

2、购买客户端渠道计费中心游戏服一次一次AppApp内购买内购买客户端渠道计费中心游戏服一次一次AppApp内购买内购买客户端渠道计费中心游戏服来源、结构、时间步调都不一样！一次一次AppApp内购买内购买客户端渠道计费中心游戏服网关网关日志数据库运行时指标日志数据库运行时指标支付数据特性支付数据特性数据持续而大量产生数据与数据间存在会话关联关系数据来源的异构数据结构的异构数据时间步调的不一致原有的体系下的解决方法原有的体系下的解决方法数据持续而大量产生数据与数据间存在会话关联关系数据来源的异构数据结构的异构数据时间步调的不一致ELK体系持续采集T+1 全量离线分析网盘同步/rsync/接口推送/

3、多以业务特制脚本处理各种数据的ETLT+1 Spark离线处理原有的体系下的问题原有的体系下的问题技术使用资源方式粗糙离线任务资源常挤兑或空置组件繁多技术栈割裂定制代码多公共逻辑复用度低下时效性低问题暴露与处理被动作业配置方式各不相同业务资源原有的体系下的问题原有的体系下的问题代码能效较低数据与人力能效较低机器资源能效较低技术使用资源方式粗糙离线任务资源常挤兑或空置组件繁多技术栈割裂定制代码多公共逻辑复用度低下时效性低问题暴露与处理被动作业配置方式各不相同业务资源离线计算的资源能效离线计算的资源能效07.51522.53037.512:0015:0018:0021:0024:0003:0006

4、:0009:00机器数量空闲机器占用机器处理数据处理数据：最少机器数量最少机器数量：结果结果交付交付9 9时时近近100T100T3030如果可以实时如果可以实时07.51522.53037.512:0015:0018:0021:0024:0003:0006:0009:00机器数量空闲机器占用机器最少机器数量最少机器数量：结果交结果交付付实时实时5 5处理数据处理数据：近近100T100T用更少的资源算更多的数据能更早的交付如何实时化以提升能效？Flink选择Flink数据持续而大量产生数据与数据间存在会话关联关系数据来源的异构数据结构的异构数据时间步调的不一致高效率实时消费处理窗口计算丰富的

5、已有连接器、易于自定义的接口丰富的API进行便捷转化业务事件时间+延迟处理+水位机制调研结论调研结论#2 2实时实时SDKSDK与平台化的双线发展与平台化的双线发展实时业务架构的双线发展实时业务架构的双线发展JFlink实时业务架构的双线发展实时业务架构的双线发展可用 作业配置化 统一非结构化数据处理引擎 JavaScript Embedded RDB Source/Sink，ES Source，gRPC Sink 实用 RDB Async Join/Redis Join etc.动态配置和动态流控 异构数据和异构时间步调Join 对通数据地图，统一异构数据访问 爱用 全异构数据即席查询 配置

6、 from Flink SQL 大批数据计算效率对齐已有离线方式 可用 基于YARN的Flink Cluster作业管理 作业配置的版本化管理 统一非结构化数据描述界面和配置生成器 运行日志和指标查询 实用 全面K8S独立集群化、多租户支持 基于K8S的作业精细化资源调配 作业全生命周期管理 风险分析与监控 爱用 交互式全异构数据SQL即席查询 交互式数据血缘 交互式复杂关联作业配置 运维平台化开发SDK化201720172018201820192019202020202021202120222022SDKSDK让每一个实时作业都基于相同的配置语义SDKSDK模块化+配置化封装内置或拓展的Co