AnalyticDB for PG云原生架构技术揭秘（19页）.pdf

1、AnalyticDB for PG云云原原生生架架构构技技术术揭揭秘秘 演讲人：陆元飞花名翰明，原华为2012实验室主任工程师，华为分布式数据库taurusdb的核心研发；2018年加入阿里后，负责ADB向量版，产品在个性化推荐，图搜，安防领域得到大规模应用，研究成果发布在VLDB；2020年开始负责ADB PG云原生架构升级，产品在公有云/混合云上线。陆陆元元飞飞阿阿里里云云高高级级技技术术专专家家1A AD DB B P PG G云云原原生生价价值值23A AD DB B P PG G云云原原生生关关键键性性能能目目录录 C CO ON NT TE EN NT TS S4A AD DB B

2、 P PG G云云原原生生未未来来工工作作A AD DB B P PG G云云原原生生技技术术实实现现云云原原生生数数仓仓的的客客户户价价值值业界技术趋势负载灵活存储计算按需使用数据共享减少冗余复制资源隔离支持混合负载灵活弹性快速灵活的扩缩容客户业务需求存储计算分离弹性伸缩数据共享1A AD DB B P PG G云云原原生生价价值值23A AD DB B P PG G云云原原生生关关键键性性能能目目录录 C CO ON NT TE EN NT TS S4A AD DB B P PG G云云原原生生未未来来工工作作A AD DB B P PG G云云原原生生技技术术实实现现A AD DB B

3、P PG G云云原原生生架架构构服务层分布式事务KV计算层ParserOptimizerRewriterParserOptimizerRewriterMasterMasterMasterParserOptimizerRewriterParserOptimizerRewriter计算引擎行存引擎本地缓存共享存储行列混存行列混存行列混存计算引擎行存引擎本地缓存计算引擎行存引擎本地缓存MasterMaster计算引擎行存引擎列存引擎计算引擎行存引擎列存引擎计算引擎行存引擎列存引擎 ADB PG当前Shared-Nothing架构 ADB PG云原生Shared-Everything架构关关键键设设计

4、计：弹弹性性伸伸缩缩共享存储弹性集群弹性集群计算节点Bucket1Bucket2Bucket3Bucket4计算节点Bucket5Bucket6Bucket7Bucket8Bucket1Bucket2Bucket3Bucket4Bucket5Bucket6Bucket7Bucket8计算节点Bucket1Bucket2计算节点Bucket3Bucket4计算节点Bucket5Bucket6计算节点Bucket7Bucket8共享元数据存储关关键键设设计计：存存储储引引擎擎MemoryRemoteSharedStorageLocalDiskGroup FlushFile MetadataDADI

5、Memory&Local DiskCacheVisibility Map010100101INSERTSELECTDELETEUPDATEbufferstatstuple1tuple1tuple1关关键键设设计计：本本地地缓缓存存维度RT产品DADIAlluxioRT命中内存7 7 u us s408 us命中磁盘1 12 27 7 u us s435 us吞吐命中内存单线程：4.0 GB/s四线程：16.2 GB/s2.5 GB/s命中磁盘四线程：541 MB/s630 MB/s关关键键设设计计：行行列列混混存存B0Table_a_1_1_2Table_a_0_2_2L1L2BnTable_

6、a_1_1_1sortedsortedsortedTable_a_n_1_0sortedsortedTable_a_n_1_0Data block format:sortedsortedsortedsortedsortedGroup flushGroup flushL0Merge（多路归并）merge（多路归并）B0BnsortedGroup flushMerge tree storage：关关键键设设计计：s so or rt t下下推推支持的算子 Min/Max 加速 Order by limit加速 Distinct Limit 加速 GroupB