刘成龙、蔡跃-Flink流处理在中信建投证券的实践与应用.pdf

《刘成龙、蔡跃-Flink流处理在中信建投证券的实践与应用.pdf》由会员分享，可在线阅读，更多相关《刘成龙、蔡跃-Flink流处理在中信建投证券的实践与应用.pdf（21页珍藏版）》请在三个皮匠报告上搜索。

1、刘成龙/实时数仓项目负责人FlinkFlink流处理在中信建投证券的实践与应用流处理在中信建投证券的实践与应用蔡跃/金融资讯数据研发工程师中信建投证券介绍2005年成立成立2016年香港联交所上市2018年上交所主板上市上市上市投资银行业务连续8年保持行业前3名托管证券市值4.31万亿元，位居行业第2名主要经营指标目前均位居行业前10名发展发展中信建投证券中信建投证券 FlinkFlink 架构架构#1#1FlinkFlink 流处理场景流处理场景#2#2金融资讯实时化改造金融资讯实时化改造#3#3未来展望未来展望#4#4#1#1中信建投证券中信建投证券FlinkFlink架构架构中台架构-实

2、时开发Flink实时流处理架构#2 2FlinkFlink流处理场景流处理场景Flink流处理场景零售业务零售业务基金投顾基金投顾实时实时ETLETL零售业务基金投顾实时指标统计场外交易数据Flink计算引擎维表数据数据服务系统批处理数据校准CRM系统BI系统报表系统定时启停节约资源实时ETL-资金流水交易数据Flink计算引擎数据服务系统批处理数据校准台账系统定时启停节约资源#3 3金融资讯实时化改造金融资讯实时化改造蔡跃 中信建投证券 金融资讯中心资讯不仅有“资讯”新闻、公告、研报货币、证券市场宏观、行业其他及衍生投行业务企业数据经纪业务蜻蜓点金 APP研究业务投研平台中心库数据服务BA万

3、得同花顺.合规风控风控系统智能投顾融资融券系统黑名单系统投资尽调搜索助手行业数据反洗钱系统数据直发.1.数据服务整体质量2.架构抗风险能力3.数据传输效率4.数据内容准确C中心库Canal处理进程接口蜻蜓点金INFOTAGINFOTAG四大报news格隆汇newsNews详情News基本信息INFOTAGETL缓存穿透接口服务库RedisMySQLOracle标签系统蜻蜓点金APP F10新闻数据中台-Flink维表Flink数据中台多源数据交叉校验多源数据交叉校验#1实时校验窗口：实时校验窗口：消费指标数据，窗口聚合相同key的指标值。在数量、时间维度触发窗口计算。计算结果实时推送。IDID

4、拉齐：拉齐：原始数据对每个金融实体均有内码，首先进行证券编码拉齐 ID-Mapping。指标化：指标化：针对校验点需求，抽象为对应指标，通过Flink SQL编写指标生成逻辑。将多源异构数据结构拉齐。#2#3实时校验窗口Global Windows+Trigger=Customer Window Assigner!#$%&()*+,&*-./0,123$/40#51./0,1+0#&*6.51./0,1/0#+04&)+2&7/08.&2&0#%+9:23)+2&9#2;1#3:*&,+9#&*?*/&99+0,)+2&)+2&*-#%+9:23)+2&9#2;7./0,10&3#+*&)+2

5、&9#2;1#3:*&,+9#&*?*/&99+0,)+2&)+2&*-0&3#+*&)+2&9#2;7/40#:AA-BC7+D1-/40#:,&#-71E**01)*+,&*G&94.#:HG8IJK!I?LGM8N&.9&1F**01)*+,&*G&94.#:HG8N/0?*/&99+0,)+2&+D1-D+*&)+2&9#2;:,&#-7:&O4.9-#+2&771FD+*&)+2&9#2;:.&*-7D+*&)+2&9#2;:AA-#+2&1=1+0#&*6.7#3:*&,+9#&*?*/&99+0,)+2&)+2&*-#+2&1=1+0#&*6.7**01)*+,

6、&*G&94.#:HG8N+D1-0&P1C/0,-#%+9:23)+2&9#2;7:&O4.9-#+2&77F**01)*+,&*G&94.#:HG8IJK!I?LGM8N差异类型债券代码债券市场债券简称WINDWIND数据XQUANTXQUANT数据CHCH数据【简称】差异173890银行间21*10421*10421*10421*104【付息频率】差异2171098银行间21*75M6(半年)Y1(一年)M6(半年)【上市日】差异1689232银行间16*2A32