IBM：马作的卢 弓如霹雳：金融机构打造实时计算能力（10页）.pdf

1、马作的卢 弓如霹雳金融机构打造实时计算能力的 难点剖析和应对方略IBM 商业价值研究院专家洞察 实时计算将成为银行竞争的新制高点后中台时代， 金融机构在批处理计算能力方面差距已不明显， 实时计算将成为银行错位竞争的分水岭。“六位一体” 的实时计算能力框架 数据采集、 传输、 存储、 计算、 服务和开发管理六大能力是构建实时计算框架的指南。构建实时计算能力的行动方略三大行动建议： 绘场景、 定工艺、 强治理。谈话要点实时计算的快速发展随着金融行业数字化转型的逐步深入， 数据的时效性对企业的精细化运营越来越重要。 在每天产生的海量数据中， 如何能以实时或近乎实时的方式挖掘出有价值的信息， 对企业快

2、速做出决策有着重大意义。此外， 随着实时技术的成熟和广泛应用， 数据时效性要求高的业务场景不断涌现， 金融机构业已成熟的批处理数据架构难以应对， 需要构建新一代的实时数据架构体系以便实现数字化转型中的 “换挡加速” 。实时计算业务需求爆发金融行业数字化建设的领先度激发了众多业务场景的实时分析需求， 随时根据客户最新行为调整策略或驱动智能算法自动决策的情况变得越来越常见， 这涉及了营销、 风控、 运营、 运维等场景， 例如： 在客户服务与精准营销领域,通过实时采集客户的浏览、 搜索、 交易等行为数据， 快速识别客户当前的需求与偏好， 促进客户完成交易， 提升客户价值与黏性； 在与外部合作伙伴共同

3、为客户提供服务时， 需要数据实时采集与交换完成跨流程的综合服务。 在反欺诈、 反洗钱领域,实时算法植入交易流程用于限制可疑交易； 在流动性风险管理方面， 通过高密度的实时图计算秒级计算流动性风险覆盖率 （LCR） 指标， 实时分析流动性的构成、 流动性变化的原因、 流动性的监控预测； 资产组合投资经理通过快速分析金融市场波动情况， 近实时掌握企业债券或信贷资产的估值数据， 便可以从波动中快人一步实现获利。 在小额信贷场景中， 运用大数据实时评估客户的信用风险并计算授信额度， 提高客户体验。1 在运营管理领域， 业务人员需要时效性更高的数据统计分析结果来支持业务决策， 对实时指标展现、 实时多维

4、数据钻取、 实时标签构建的需求日益显著。 在 IT 运维领域， 随着金融行业 IT 相关设备、 系统的不断增加， 需要通过实时数据监控相关设备与系统的运行状态， 及时发出通知和预警， 确保系统的正常运行。实时计算技术能力日趋成熟实时计算的相关技术是随着互联网的发展以及各个行业数字化、移动化浪潮 而逐步演 进的。实时 计算技 术 框 架从Storm、 Spark Streaming 到 Flink， 逐步实现了高吞吐量、 低延时、 有容错机制的实时数据处理与加工能力。同时， 众多互联网企业以及部分金融企业已经陆续将实时计算技术框架整合到企业级数据架构中， 在传统的离线大数据架构的基础上增加实时数

5、据链路， 使用流处理技术直接完成实时性要求较高的指标计算。 在部分互联网企业中， 实时数据处理的重要性显著提升， 出现了以实时事件处理为核心的大数据架构新趋势。 随着技术的不断演进， 企业级的数据架构正朝着离线与实时相结合， 批处理与流处理一体化融合的方向演进。现阶段， 实时数据链路中的数据采集、 传输与存储等相关领域不断涌现出稳定、 成熟的技术组件。 典型的实时数仓主要是使用 Canal、 Flume 等数据采集工具， 将原始数据写入到如Kafka、 MQ 等数据传输通道中， 最后写入到 OLAP 存储系统 （如HBase、 Kylin、 Hudi、 Iceberg、 Clickhouse

6、等） ， 对外提供分钟级甚至秒级的查询方案。 以Flink为代表的实时计算技术框架的不断演进与推广， 将进一步促使实时数据计算融合到企业现有的数据架构中， 以更好地支持实时化的业务需求场景。金融行业实时计算面临的挑战金融企业已意识到实时计算的重要性， 但在实时应用场景拓展、 实时数据架构管理、 实时数据技术储备能力等方面， 金融机构仍面临较大挑战。跨时空、 多技术融合的实时应用场景有待拓展现阶段实时数据的分析应用场景主要集中在实时数据的采集、 汇聚和可视化展现、 实时模型的计算和预警。 无论在数据来源的丰富程度还是技术运用的复杂度， 金融行业数据实时应用场景具备巨大的拓展空间。 应用场景 1：