专场7.3-20000节点数仓集群在大型商业银行的落地实践-陈晓新.pdf

《专场7.3-20000节点数仓集群在大型商业银行的落地实践-陈晓新.pdf》由会员分享，可在线阅读，更多相关《专场7.3-20000节点数仓集群在大型商业银行的落地实践-陈晓新.pdf（24页珍藏版）》请在三个皮匠报告上搜索。

1、20000节点数仓集群在大型商业银行的落地实践建信金科基础技术中心 陈晓新目录010102020303基于龙趺MPP的超大规模数据仓库建设龙趺MPP技术架构和带来的应用革新基于龙趺MPP的大数据未来技术展望龙趺MPP DB新一代云原生数据仓库产品金山云其他数据库、存储等合作公司超高的查询性能标准SQL支持完善的生态系统无限的计算存储能力动态伸缩故障自动恢复计算和存储分离一份数据全局使用超高资源利用率龙龙趺趺MPP DBMPP DBMPPMPP架构架构计算计算能力能力云计算弹性云计算弹性全数据共享全数据共享龙趺MPP DB龙趺MPP DB运行现状集群规模数据量表数量/对象数负载情况20000+节

2、点18PB百万/千万每天运行作业数达到百万级别，SQL数千万级别05000100001500020000250002019-12-12020-3-102020-6-182020-9-262021-1-42021-4-142021-7-23 2021-10-312022-2-82022-5-192022-8-272021.14000个节点2020.3第一套集群上线2022.520000个节点基于龙趺MPP DB的超大规模数据仓库建设基于龙趺MPP DB的超大规模数据仓库建设计算存储分离，数据充分共享动态扩容、升级，智能运维百PB级数据，并发能力线性扩展金融级高可用准0-RPO容灾贴源集成公共计算

3、公共访问反洗钱反欺诈稽核监测对公信贷员工业绩安全日志金融审计风险模型信息应用电子银行监管报送信用卡等等龙趺MPP DB数据集成数据整合批量计算报表展示即席查询指标运算模型训练 数据挖掘基于龙趺MPP DB的超大规模数据仓库建设基于龙趺MPP DB的超大规模数据仓库建设北京银保监会3套计算集群1+64；1+64；1+128存储数据量150TB+恒丰银行9套计算集群80+台物理机规划数据量500TB进出口银行24台物理机规划数据量100TB国家开发银行24台物理机规划数据量100TB云南政务河北政务目录010102020303基于龙趺MPP的超大规模数据仓库建设龙趺MPP技术架构和带来的应用革新基

4、于龙趺MPP的大数据未来技术展望基于传统MPP的数据仓库建设问题数据复制数据复制计算计算计算计算计算计算计算计算存储存储存储存储存储存储存储存储集群集群1 1集群集群2 2集群集群3 3集群集群N N应用1应用2应用3应用N冗余数据冗余数据冗余数据冗余数据冗余数据冗余数据冗余数据冗余数据成本高，使用难！成本高，使用难！传统传统MPPMPP数据库已数据库已经无法支撑大型银经无法支撑大型银行的大数据建设和行的大数据建设和发展！发展！传统物理机/虚拟机架构，运维管控难度大运维运维困难困难应用烟囱式设计，一个应用搭建一个独立集群，导致严重数据孤岛数据孤岛数据孤岛每个集群都存储大量冗余数据，服务器资源消

5、耗严重数据冗余数据冗余集群间大量数据复制，消耗大量网络、ETL乃至人力资源资源资源损耗损耗龙趺MPP DB核心架构1 1个个元数据层1 1个个共享存储层N N个个计算层管理控制台集群创建、启停、扩容、升级等服务管理模块SSSSSSSSS计算集群-1计算集群-2计算集群-n元数据存储服务共享元数据共享存储MMM元数据核心服务元数据调度服务用户模块用户数据缓存元数据缓存用户数据缓存元数据缓存用户数据缓存元数据缓存对象存储 1对象存储 2对象存储 nVM、对象存储等基础设施管理集群状态监控、故障告警、故障恢复 存算分离统一存储存算分离统一存储，实现全集群数据共享，消除数据冗余和数据孤岛，减少数据冗余

6、和服务器资源30%以上。无状态计算层无状态计算层，计算和并发能力线性扩展，实现从100节点到20000节点的规模扩展 云原生架构设计云原生架构设计，实现一键集群创建、启停、升级、扩缩容、故障自愈等功能，运维效率提升10倍以上权限管理权限管理多租户/用户管理集群集群生命周期管理生命周期管理创建、删除、扩缩容、升级、启动、停止IaaSIaaS资源交互和调度资源交互和调度基础设施资源调度，包括计算、存储和网络资源等自动化自动化/智能化智能化运维运维自动化安装部署监控、告警故障自愈龙趺MPP DB管理控制台ETCDETCDETCDcatalogcatalogcatalog调度层无状态服务层元数据持久存