（张德银）运用MongoDB及Spark实现保险行业开门红秒杀大屏（13页）.pdf

1、运用MongoDB及Spark实现保险行业开门红秒杀大屏张德银公司介绍中国太平保险集团有限责任公司于中国太平保险集团有限责任公司于1929年在上海创立，年在上海创立，1956年根据国家统年根据国家统一部署，中国保险、太平保险停办国内业务，专营港澳和海外保险业务。一部署，中国保险、太平保险停办国内业务，专营港澳和海外保险业务。1999年所有境外国有保险机构划归中国保险股份有限公司管理。年所有境外国有保险机构划归中国保险股份有限公司管理。2000年在港交所上年在港交所上市，是我国首家在境外上市的保险企业。市，是我国首家在境外上市的保险企业。2001年以太平品牌在境内复业。年以太平品牌在境内复业。2

2、011年底列入中央管理，升格为副部级金融央企。年底列入中央管理，升格为副部级金融央企。2013年完成重组改制和整体上市年完成重组改制和整体上市。2018年年7月月19日，首次进入世界日，首次进入世界500强。目前，中国太平总保费超过强。目前，中国太平总保费超过1600亿亿元，总资产突破元，总资产突破6000亿元，管理资产规模突破亿元，管理资产规模突破1万亿元，已经成为一家拥有万亿元，已经成为一家拥有60余余万名内外勤员工、万名内外勤员工、24家子公司和家子公司和2000余家各级营业机构的大型跨国金融保险集余家各级营业机构的大型跨国金融保险集团，经营范围涉及中国内地、中国香港、中国澳门、北美、欧

3、洲、大洋洲、东团，经营范围涉及中国内地、中国香港、中国澳门、北美、欧洲、大洋洲、东亚及东南亚等国家和地区，业务范围涵盖寿险、财险、养老保险、再保险、再亚及东南亚等国家和地区，业务范围涵盖寿险、财险、养老保险、再保险、再保险经纪及保险代理、互联网保险、资产管理、证券经纪、金融租赁、不动产保险经纪及保险代理、互联网保险、资产管理、证券经纪、金融租赁、不动产投资、养老医疗健康产业投资等领域。投资、养老医疗健康产业投资等领域。太平保险开门红开门红特点：统计纬度多秒杀并发大 实时要求高存在的痛点实现思路不足使用触发器对原始数据进行裁剪写入小表延迟大，无法满足实时要求，当前聚合计算和ETL的时间延迟4m对

4、写入到小表的数据利用存储过程进行聚合分析，结果写入到聚合表存储过程中的聚合分析无法进行并发计算，性能空间有限聚合表数据通过shareplex的cdc机制将数据同步到读库统缺乏水平可扩展性Spark+MongoDB应用app消息队列Spark StreamingMongoDB指标大屏实现思路优点不足业务APP将数据写入到消息队列（建议采用kafka）统计实时性强，延迟5s对业务系统有一定的改造，业务系统的数据持久化逻辑受影响，需要将数据直接写入消息队列通过Spark Streaming消费消息队列中的数据，进行总金额的实时累加，实时反应统计排名系统水平可扩展性高原始数据快速写入MongoDB聚合

5、结果实时写入MongoDB系统高可用(high availablitity)分片扩展能力Spark高速比hadoop快100倍易用Java,Scala,Python,R,and SQL.通用流式运算、机器学习、图计算、SQLSpark Streaming1.数据采集：用户使用流式数据采集工具将数据流式且实时地采集并传输到大数据消息Pub/Sub系统，该系统将为下游流计算提供源源不断的事件源去触发流式计算任务的运行。2.流式计算：流数据作为流计算的触发源驱动流计算运行。因此，一个流计算任务必须至少使用一个流数据作为数据源。一批进入的数据流将直接触发下游流计算的一次流式计算处理，并针对但批次流式数

6、据得出计算结果。3.数据集成：流计算将计算的结果数据直接写入目的数据源，这其中包括多种数据源，包括数据存储系统、消息投递系统，甚至直接对接业务规则告警系统发出告警信息。不同于批量计算，流计算天生自带数据集成模块，可以将结果数据直接写入到目的数据源。4.数据消费：流计算一旦将结果数据投递到目的数据源后，后续的数据消费从系统划分来说，和流计算已经完全解耦。用户可以使用数据存储系统访问数据，使用消息投递系统进行信息接收，或者直接使用告警系统进行告警。数据库选型关键能力描述RDBMS