陈晓新-超大规模数仓集群在大型商业银行的落地实践（23页）.pdf

《陈晓新-超大规模数仓集群在大型商业银行的落地实践（23页）.pdf》由会员分享，可在线阅读，更多相关《陈晓新-超大规模数仓集群在大型商业银行的落地实践（23页）.pdf（23页珍藏版）》请在三个皮匠报告上搜索。

1、 全球敏捷运维峰会 广州站超大规模数仓集群在大型商业银行的落地实践龙趺MPP DB演讲人：建信金科 陈晓新 全球敏捷运维峰会 广州站龙趺MPP DBMPP架构查询能力超高的查询性能标准SQL支持完善的生态系统云计算弹性无限的计算存储能力动态伸缩高性价比的存储大数据平台灵活性计算和存储分离优异的扩展性故障自动恢复龙龙趺趺MPP DBMPP DB龙趺MPP DB新一代云原生数据仓库产品金山云其他数据库、存储等合作公司 全球敏捷运维峰会 广州站信用卡信用卡20年年3月月境内贴源境内贴源20年年7月月公共访问公共访问20年年7月月旅程管理旅程管理20年年8月月集团并表集团并表海外贴海外贴源源20年年9

2、月月海外应用海外应用20年年11月月云化数仓云化数仓21年年1月月20年年10月月不良资产不良资产21年年3月月公共计算公共计算21年年4月月资产负载资产负载21年年6月月分行分行信息应用信息应用龙趺龙趺MPP DB运行现状运行现状集群规模集群规模数据量数据量表数量表数量/对对象数象数负载情况负载情况15000+服务器9PB百万/千万每天运行作业数达到百万级别，SQL数千万级别龙趺MPP DB上线和运行现状 全球敏捷运维峰会 广州站龙趺MPP DB上线和运行现状 全球敏捷运维峰会 广州站贴源集成应用运行效率对比050010001500传统MPP龙趺MPP DB 龙趺MPP DB的计算资源和传统

3、MPP的计算资源基本相等 龙趺MPP DB存储和计算的数据量（1000TB）为传统MPP（200TB）的5倍 每天7万个作业、100万个SQL，龙趺MPP DB和传统MPP的运行效率无明显差别 全球敏捷运维峰会 广州站为什么需要研发龙趺MPP DBu并发能力和可扩展性不足，分库分表造成大量数据冗余u木桶效应，服务器故障会导致集群性能严重下降u升级、扩容等操作复杂，运维成本高，应用影响大u数据的存储和计算不分离，数据库孤岛情况严重u非云原生架构，难以融入建行云建设传统MPP数据库在建行落地实践中遇到的困难 全球敏捷运维峰会 广州站元数据集群共享存储计算集群计算集群-1计算集群-2计算集群-n元数

4、据集群共享存储（对象存储）管理控制台用户模块管理模块用户数据缓存元数据缓存用户数据缓存元数据缓存用户数据缓存元数据缓存对象存储 1对象存储 2对象存储 n龙趺MPP DB架构 全球敏捷运维峰会 广州站权限管理权限管理多租户/用户管理集群集群生命周期管理生命周期管理创建、删除、扩缩容、升级、启动、停止IaaS资源交互和调度资源交互和调度自动化申请基础设施资源，包括计算、存储和网络资源等自动化自动化/智能化智能化运维运维自动化安装部署监控、告警运维扩容、升级、备份故障自愈龙趺MPP DB管理控制台 全球敏捷运维峰会 广州站ETCDETCDETCDcatalogcatalogcatalog调度层调度

5、层无状态无状态服务层服务层分布式分布式K-VK-V存储存储FDBFDBFDBFDBFDB计算集群123456调度层调度层服务发现和监控负载均衡 无状态服务层无状态服务层服务层由一组服务节点组成，每个服务节点其实是无状态的服务进程，负责接收和处理计算集群的元数据请求；元数据元数据持久持久层层 元数据持久化存储服务，存储数据字典、统计信息、表到对象映射等龙趺MPP DB元数据服务 全球敏捷运维峰会 广州站计算集群-1计算集群-2计算集群-n元数据集群共享存储（对象存储）用户数据缓存元数据缓存用户数据缓存元数据缓存用户数据缓存元数据缓存对象存储 1对象存储 2对象存储 n资源灵活分配资源灵活分配按需

6、创建、删除、扩缩容集群间资源完全隔离作业可在不同集群建灵活调配并发能力线性扩展缓存服务缓存服务本地SSD作为缓存介质小文件合并龙趺MPP DB计算集群 全球敏捷运维峰会 广州站计算集群-1计算集群-2计算集群-n元数据集群共享存储（对象存储）用户数据缓存元数据缓存用户数据缓存元数据缓存用户数据缓存元数据缓存对象存储 1对象存储 2对象存储 n龙趺MPP DB共享存储使用对象存储作为数据持久化存储使用对象存储作为数据持久化存储支持100亿文件对象，200PB以上的压缩数据使用标准Restful API，支持高并发访问99.99%以上的可用性99.999999999%以上的数据持久性存储访问优化存