【巨杉软件】NewSQL技术加速互联网金融发展（32页）.pptx

1、NewSQL技术加速互联网金融发展,徐云西,公司介绍,广州巨杉软件开发有限公司简称：巨杉软件成立于2011年，专注于新一代企业大数据平台研发核心产品：SequoiaDB（巨杉数据库）中国第一款新一代分布式数据库完全自主研发，数据库引擎没有基于任何开源数据库源代码核心研发团队来自IBM北美DB2研发团队已经成功部署并运行在多家世界500强企业的生产环境中与IBM,Cloudera,Databricks建立战略合作获得Spark产品认证发行权，并嵌入自有大数据产品中获得风险投资机构DCM（B轮）、启明创投（A轮）青睐中国第一款商业开源数据库产品,巨杉的用户,已拥有的客户包括多家世界五百强企业和知名

2、IT互联网公司。巨杉的发展依赖于合作伙伴，共同致力推动整个大数据软硬件产业的发展。,佛山气象局,太原市公安局泰州市公安局,“互联网金融”已深入到金融业的每个环节,“互联网+”：利用互联网的平台、信息通信技术把互联网和包括传统行业在内的各行各业结合起来，从而在新领域创造一种新生态。,传统金融如何引领互联网金融的发展？,以数据湖构建企业级数据存储平台,数据湖是利用低成本技术来捕捉，提炼，储存和探索大规模的长期的原始数据的方法与技术实现。存储全量历史数据及其所有属性其中的数据向多个下游系统借鉴使用不同的数据种类是构建数据湖的主要驱动因素数据湖可以提高信息的使用和共享,传统数据集市为了优化数据分析的性

3、能，只存储部分属性，只操作已经聚合的数据。,业务人员可以更加快速和灵便的使用数据。,数据湖的操作区与分析区,回单查询,实时风控,司法查询,影像平台,数仓报表,用户画像,风险管控,NewSQL近线数据平台体现数据湖业务价值,近线数据平台,SequoiaDB,热数据（在线）,温数据（近线）,冷数据（离线）,传统数据库,Oracle,DB2,数据计算层服务,数据生命期管理工具,存储介质从磁带改为分布式库/文件存储可用性大幅增加不可修改,低延时,高并发数据查询,影像处理,热数据可以根据数据生命期管理机制迁移为温数据银行在线对外业务，如核心交易、信用卡等重要模块,近线数据平台存储原本离线与近线数据，不涉

4、及已有在线业务对已有业务不进行替换，而是补充达到离线数据近线化、与近线生产库瘦身两大目的,高延时,批量分析,数据挖掘,归档库,归档文件数据,机器学习,事件流,以数据归档为核心目标，适当提供交互式查询分析能力以公检法数据查询、提取统一接口为出发点，实现自由查询能力以ECIF、回单数据为出发点，实现固定查询能力,近线数据平台一期,近线数据平台一期应用方向1：司法查询,近线数据平台一期应用方向2：ECIF、回单查询,ECIF,柜面、网银、手机银行等渠道,DB2,SQL增删改,批量同步,SQL查询,交易流水数据,全量的历史流水数据,网银/手机,柜面,基于一期项目，提供固定格式查询、自由查询两大主题完善

5、元数据管理以及批处理任务管理功能制定与其他系统的对接规范,近线数据平台二期,近线数据平台二期总体架构,在线交易区,自由查询执行区,自由查询验证区,管理区,归档管理,任务管理,资源管理,用户管理,源系统数据,核心系统,卡核心,网银系统,其它系统,近线数据使用ODS+FTP实现隔日同步数据,服务层,监控管理,SDB集群数据库,CD,FTP,ECM近线数据,影像数据,文本数据,ECM在线数据,影像数据,文本数据,ECM归档数据,影像数据,文本数据,ECM内容管理平台,存放自由查询数据区一个月内最新样本数据，用于验证自由查询请求语法效率,根据自由查询需求存放原始数据存储区数据表镜像,数据加工调度层,根

6、据业务需求存放需要提供在线查询的历史数据,定制查询数据区,数据服务区,沙盒区,原始数据镜像,原始数据镜像,原始数据镜像,原始数据样本,网银集群,信用卡集群,。,核心集群,近线数据存储区,历史数据归档 和 查询服务平台,自由查询数据区,加工后的数据,ODS,NAS,CD,FTP,ODS,票据,近线数据服务平台搭建,SDB为存储层，负责数据的存储计算层SDB与Spark功能互补Spark适合自由查询与数据加工SDB适合固定格式查询与数据管理,SequoiaDB,Spark,全面深入分析互联网金融客户,建立以客户为中心的经营理念，善于发现客户的需求，以客户的需求出发来指导互联网金融产品的设计、服务、