200000节点数据仓库在⼤型商业银⾏的落地实践（14页）.pdf

《200000节点数据仓库在⼤型商业银⾏的落地实践（14页）.pdf》由会员分享，可在线阅读，更多相关《200000节点数据仓库在⼤型商业银⾏的落地实践（14页）.pdf（14页珍藏版）》请在三个皮匠报告上搜索。

1、200000节点数据仓库在大型商业银行的落地实践MPP架构查询能力超高的查询性能 标准SQL支持 完善的生态系统云计算弹性无限的计算存储能力 动态伸缩 高性价比的存储大数据平台灵活性计算和存储分离 优异的扩展性 故障自动恢复HDWHashData新一代云原生数据仓库产品特点HashData在某国有大行应用规模情况 压缩数据存储 13PB 数据净增量 20-50TB/天 计算集群节点数量 19,805 计算集群数量 95 数据库表数量 1,209,912 元数据 RPC 请求数量 70亿次/天 作业执行情况（按银行业务统计）百万/天 SQL语句执行情况（包含复杂函数功能）千万/天HashData

2、 云数仓为某国有大行解决的问题并发能力和可扩展性不足，分库分表造成大量数据冗余木桶效应，服务器故障会导致集群性能严重下降升级、扩容等操作复杂，运维成本高，应用影响大数据的存储和计算不分离，数据库孤岛情况严重非云原生架构，难以融入各个行业云建设HashData 云数仓架构元数据集群共享存储计算集群管理控制台集群创建、启停、扩容、升级等服务管理模块计算集群-1计算集群-2计算集群-n元数据存储服务元数据集群共享存储（对象存储）元数据服务元数据调度接入用户模块用户数据缓存元数据缓存用户数据缓存元数据缓存用户数据缓存元数据缓存对象存储 1对象存储 2对象存储 nCVM、对象存储等基础设施管理集群状态监

3、控、故障告警、故障恢复ETCDcatalog调度层无状态服务层分布式K-V存储计算集群调度层 服务发现和监控；负载均衡；HashData元数据服务ETCDETCDFDBFDBFDBFDBFDBcatalogcatalog无状态服务层 服务层由一组服务节点组成，每个服务节点其实是无状态的服务进程，负责接收和处理计算集群的元数据请求；元数据持久层 元数据持久化存储服务，存储数据字典、统计信息、表到对象映射等；资源灵活分配 按需创建、删除、扩缩容 集群间资源完全隔离 作业可在不同集群建灵活调配 并发能力线性扩展HashData计算集群计算集群-1计算集群-2计算集群-n元数据存储服务元数据集群共享存

4、储（对象存储）元数据服务元数据调度接入用户数据缓存元数据缓存用户数据缓存元数据缓存用户数据缓存元数据缓存对象存储 1对象存储 2对象存储 n缓存服务 本地SSD作为缓存介质 小文件合并使用对象存储作为数据持久化存储 支持100亿文件对象，200PB以上的压缩数据 使用标准Restful API，支持高并发访问 99.99%以上的可用性 99.999999999%以上的数据持久性HashData共享存储计算集群-1计算集群-2计算集群-n元数据存储服务元数据集群共享存储（对象存储）元数据服务元数据调度接入用户数据缓存元数据缓存用户数据缓存元数据缓存用户数据缓存元数据缓存对象存储 1对象存储 2对

5、象存储 n存储访问优化 多桶存储 列存+压缩HashData应用解决方案计算计算计算计算存储存储存储存储集群1集群2集群3集群N计算计算计算计算共享存储集群1集群2集群3集群N智能调度应用1应用2应用3应用N应用1应用2应用3应用N传统MPP应用解决方案HashData云数仓应用解决方案数据复制传统MPP龙趺MPP DB数据复制大量集群间数据复制数据共享，无需作业动态调度每个集群运行作业基本固定，无法动态调整作业可以根据负载需求，在不同集群间动态调整数据冗余大量冗余数据无数据冗余HashData运维解决方案COS元数据集群Seg2Seg1Master计算集群Seg3Seg4Seg2Seg1Ma

6、sterSeg3Seg4Seg2Seg1Master新计算集群Seg3Seg4动态扩容动态缩容快速升级Seg2Seg1MasterSeg3Seg4Seg5故障快速隔离恢复数据分布：一致性hash的分布方式，避免数据大量重新逻辑分组 独立的元数据共享存储服务，计算节点无状态，随时可增加和减或少，也避免了数据重新物理分布Seg2Seg1Master计算集群Seg3Seg4Seg5Seg6Seg7Seg8Seg2Seg1Master计算集群Seg3Seg4计算集群计算集群自动化/智