袁一-工商银行实时大数据平台建设历程及展望.pdf

1、袁一中国工商银行大数据平台负责人工商银行实时大数据平台建设历程及展望#1#1#2#2#3#3展望工行实时大数据平台建设思路工行实时大数据平台建设历程#1#1工行实时大数据平台建设历程数据集市数据仓库大数据服务云大数据服务云生态圈数据中台Hadoop分布式数据库大内存Hadoop分布式数据库大内存（2002-2007年）（2008-2013年）（2014-2016年）（2017-2019年）（2020年）机器学习机器学习运维工作站开发工作站BI分析批量计算实时计算联机分析数据交付数据安全数据交换对象存储物理机容器虚拟机网络资源管理引擎二级平台基础设施底座工行大数据平台总体架构#2#2工行实时大数

2、据平台建设思路时效安全可靠降本增效易用工 行 大 数 据 平 台 建 设 思 路时 效数据服务数据服务APIAPI联机高并发联机高并发HBaseHBase、ESES、MPPDBMPPDB批处理平台批处理平台BIBI联机分析联机分析PrestoPresto、CKCK分析师MySQLMySQLKafka Kafka 实时处理平台实时处理平台FlinkFlink(首选首选)、Spark Spark 应用同步同步同步同步HDFSHDFSHive/SparkHive/SparkHudiHudi/Parquet/ORC/Parquet/ORCHDFSHDFS实时实时ETLETLMPPDBMPPDB用户用户

3、网银网银/手机手机银行银行/柜面柜面个人账户个人账户交易系统交易系统积分服务积分服务系统系统交易明细交易明细积分明细积分明细FlinkFlink多流关联会话窗口多流关联会话窗口短信内容短信内容通信运营商通信运营商短信消息短信消息积分合并：您尾号1024卡11月17日13:40网上银行支出(融e购现金)40元，余额-1,599.35元，可用余额184,690.40元，个人综合积分兑换6,667分，余额52,064分。回复ESH了解信用卡APP【工商银行】借贷合并：您尾号0753卡3月21日08:53营业网点向尾号7022账户进行了一笔转账，金额95.17元，尾号0753卡余额30,887.39元

4、，尾号7022账户余额135,251.50元。【工商银行】场景建设：余额提醒对公数据加工对公数据加工信用卡数据加工信用卡数据加工个金数据加工个金数据加工个贷数据加工个贷数据加工会计核算数据加工会计核算数据加工文件下传文件下传财务财务管理管理特色特色加工加工财务财务管理管理展现展现改造前对公基础数据对公基础数据信用卡基础数据信用卡基础数据个金基础数据个金基础数据个贷基础数据个贷基础数据会计核算基础数据会计核算基础数据改造后Kafka/Kafka/FlinkFlinkQRQR复制复制每天每天1010轮轮-3030轮轮每轮每轮3030分钟分钟-1010分钟分钟DB2DB2-HadoopHadoop/

5、FlinkFlink场景建设：损益预查询批次批次1 1批次批次2 2批次批次3 3会计会计核算核算加工加工数据服数据服务务APIAPI财务财务管理管理特色特色加工加工财务财务管理管理展现展现信用卡加工信用卡加工个金加工个金加工个贷加工个贷加工对公加工对公加工系统日志KV存储Flink SQLKafka 实时展现Flume基于Flink的mini-batch特性，提升作业吞吐量，实现全行交易监控信息实时展现。场景建设：实时大屏场景建设：业务一致性对账中心阶段一阶段二网银/手机银行/柜面网银/手机银行/柜面个人汇款服务个人结算服务个人金融基本业务扣款境内跨行人民币清算/统一清算发报阶段三Kafka

6、 Flink数据核对SQL解析器SQL解析器实时模型1实时模型2KafkaKVStoreDubboHTTPRedis不同形态数据源ATM取款交易明细数据Kafka 风险信息服务名单查询（Dubbo）卡客关系（HBase）HTTP接口IPAD消息推送大堂经理客户Everything is a Table流计算服务!#$%&!&(!#$%&!&()*+,-./)*+,-./#$0$1&#$0$1&223%(43%(4 5)6+,783785)6+,783780$3&9(!0$3&9(!:*;6,+6:*;6,?$%$?