专场12.2-融合普惠的云数仓——解析华为云GaussDB(DWS) 3.0-王传廷.pdf

1、融合普惠的云数仓华为云GaussDB(DWS)3.0王传廷 华为云计算技术有限公司 技术专家数据仓库趋势：下一个十年，智慧数仓提供开放、融合、云化、实时、全场景分析描述型数仓探索型数仓运营型数仓智慧型数仓报表应用（T+1）：固定查询灵活查询（T+0.x）：分析师应用数智融合：BI+AI，数流、智流融合实时分析（T+0）：实时运营/IOC集中式架构：100TB分布式架构：10PB云原生架构：存算分离，EB级单机架构：TB云存储数据集市数据集市数据仓库湖仓一体数智平台数据湖（大数据）数据仓库数据集市数据仓库数据集市大数据数仓集市云存储（OBS）AIGaussDB(DWS)演进历程：十年技术沉淀，厚

2、积薄发技术演进行存储HA机制分布式框架数据分区列存储向量化引擎大集群通信技术动态负载管理LLVMSQL on HD多租户SQL on OBS备份恢复容灾DWS 3.0+实时数仓+云数仓+IoT数仓+高维分析2011年2013年2014年201520162017201920202022技术预研树标杆规模商用新一代数仓市场突破原型开发首次上市工行树标杆大规模商用，500+大客户1700+大客户GaussDB(DWS)：新一代全场景云数据仓库，简化IT架构使能人人用数数据仓库服务GaussDB(DWS)标准数仓分布式架构+开放平台存算分离实时数仓实时入库、实时分析HTAPIoT数仓数据仓库+时序计算

3、泛金融泛政企互联网物联网混合负载一库两用ERP数据集市监管报送用户画像企业数仓经营分析BI报表数据探索自助分析联机查询IoT分析实时监控车联网Note：标准数仓：T+1，OLAP|实时数仓：T+0.x，HTAP|IoT数仓：T+0，时序计算全场景一站式 一套内核、一套架构支撑公有云、混合云、On-Premise部署，用户体验一致 支持虚拟机(ECS)、裸金属(BMS)、物理机(HCS)模式 支持批量分析、实时分析、交互式查询、HTAP，实时数据和历史数据关联分析融合分析 湖仓一体：+HD Connector，+ORC，+OBS，与大数据互联互通 数智融合：+AI Connector，结构化和非

4、结构化数据关联分析 高维分析：时空分析（时序/+GIS），特征分析（Text Search），关系分析（+GES），打通关系型数据和非关系型数据分析边界核心技术高性能万亿数据分析秒级响应高扩展：2048节点，100PB高可用强一致性；集群内 RPO=0,RTO Serverless化数据共享GaussDB(DWS)3.0的Serverless云原生架构，极致弹性，湖仓一体，数智融合OBS开源格式（开放)ORCParquetHudiParquetHudiHudiORCORCParquet其他格式Virtual WarehouseVirtual Warehouse语音图像视频Virtual War

5、ehouseExcelXMLCSVTXTJson其他格式ModelArts推理DN3CacheDN4CacheDN0CacheDN1CacheDN2CacheDNxCache私有格式（DWS）Bucket 0CU0CU6Bucket 1CU1CU7Bucket 2CU2CU8Bucket 3CU3CU9Bucket 4CU4CU11Bucket 5CU5CU12元数据互通元数据管理MRSHiveMetaStoreSparkCN集群管理查询优化查询管理权限和访问控制CNCNCNOBSDWS存算管极致弹性多种形式弹性数据共享业务负载隔离，承载能力线性扩展Serverless的云原生架构存算管分离，

6、分层独立弹性吞吐线性提升资源隔离湖仓一体在数据湖上体验数仓性能和管控度纵向加速数智融合数据生产线与AI生产线的无缝对接弹性优势：极致弹性、数据共享，赋能高灵活度、高性价比的使用体验极致弹性湖仓一体数智融合一数多用多逻辑集群间共享数据，无需拷贝提供实时和近实时两种数据共享方式按需配置逻辑集群隔离不同业务业务承载量/并发量的线性扩展读写分离、不同负载隔离三层解耦存算管三层分离，独立伸缩灵活弹性分钟级单逻辑集群扩缩容分钟级快速创建销毁逻辑集群快速扩缩容，无数据重分布、拷贝按需弹性实践：高性价比地适应灵活多变的业务需求并发负载8:0012:0016:0020:0024:0016:0020:0024:0