OushuDB架构哲学和演进之路-分布式数据库专场（11页）.pdf

1、OushuDB架构哲学和演进之路偶数科技 陶征霖CONTENTS目目录录13传统MPP数据库HAWQ2.0HAWQ1.0OushuDB简介OushuDB3.0OushuDB4.02456PostgreSQL7qApache顶级项目HAWQ企业版本q原生Hadoop并行SQL引擎q面向企业的分析型数据库q拥有比传统MPP数据库更先进的弹性引擎q全新执行器引擎Hornetq原生分布式存储MAGMAOushuDB简介2011原型系统2013 HAWQ 1.02015HAWQ2.0 Apache HAWQ孵化2018 正式毕业成为顶级项目OushuDBPostgreSQLServerpostmaste

2、rbackendMemoryShared BuffersWALBuffersWorkMemOtherBuffersWriterWALWriterArchiverDataFilesWALFilesLogFilesArchiveFilesOtherProcess 单机版关系型数据库 PG9.6以后查询内部可以并行MPPMaster HostMasterInstanceGlobalCatalogTransactionLogsStandby HostStandbyInstanceGlobalCatalogTransactionLogsSegment Host1Segment 0(Primary)Loc

3、alSystemCatalogLocalTransactionLogsSegment 1(Mirror)LocalTableDataSegment Host2Segment 1(Primary)LocalSystemCatalogLocalTransactionLogsSegment 2(Mirror)LocalTableDataSegment Host3Segment 2(Primary)LocalSystemCatalogLocalTransactionLogsSegment 0(Mirror)LocalTableDataGreenplum Database架构图(2003年)完全shar

4、e-nothing的架构 高可用通过primary-mirror实现 Segment有状态 两阶段提交实现分布式事务 计算存储紧耦合HAWQ1.0Master HostMasterInstanceGlobalCatalogTransactionLogsStandby HostStandbyInstanceGlobalCatalogTransactionLogsSegment Host1Segment 0Local read-only System CatalogHAWQ1.0架构图 AO表数据放到HDFS上 通过native c+lib访问HDFS HDFS保证数据高可用 禁掉Non-AO表

5、移除segment上本地事务日志 泳道模式实现HAWQ事务 实现HDFS Truncate功能 移除segment上本地系统表 Metadata Dispatch 无状态segment 计算存储物理上解耦合Segment 1Segment Host2Segment 2Local read-only System CatalogSegment 3Segment Host3Segment 4Local read-only System CatalogSegment 5HDFSseg0seg1seg2seg3seg4seg5HAWQ2.0Master HostMasterInstanceGlobal

6、CatalogTransactionLogsStandby HostStandbyInstanceGlobalCatalogTransactionLogsSegment Host1Local read-only System CatalogHAWQ2.0架构图 每张表在HDFS上一个目录 虚拟segments 全新Dispatcher模块 块级别文件存储 HDFS元数据缓存 全新的资源管理模块 全新的容错服务 全新的管理工具 动态加减节点 计算存储逻辑上解耦合HDFSPhysical SegmentvsegvsegvsegSegment Host2Loc