1、张旭北京自然原数科技有限公司 研发经理金乌数据库面向金融核心系统的几点关键创新集群快速克隆与备份恢复关键技术02目录CONTENTS金乌数据库多模兼容关键技术03金乌数据库安全功能增强04金乌数据库架构0101 整体架构金乌数据库整体架构01KingwowKingwow(金乌)分布式架构(金乌)分布式架构元数据内部管理日志处理管理平台应用程序KG节点.KG节点KG节点KG节点.KG节点KG节点监控平台运维平台迁移平台数据平台查询执行器缓冲区管理查询优化器数据分片两阶段TG节点TG节点TG节点两阶段Paxos事务组(一主多备)Paxos事务组(一主多备)Paxos事务组(一主多备)动态数据缓存在
2、内存中数据库存储层数据库引擎层数据自动分片应用层无感知分片分片分片分片分片分片分片分片.分片分片分片分片分片分片分片分片.分片分片分片分片分片分片分片分片.分布式文件系统事务管理日志处理PaxosKG(calculation engine)计算引擎,负责sql词法分析,执行计划生成、数据管理MG(manager engine)管理引擎,负责集群元数据管理,各节点的状态维护和任务调度TG(transaction engine)事务处理引擎,负责事务相关处理工作,日志同步02 集群快速克隆与备份恢复关键技术金乌数据库备份恢复架构01全量备份单副本基线、增量数据中转到到备份节点存储自动均衡重组增量备
3、份仅增量数据部分快照备份全副本基线、增量数据秒级克隆,近乎0 CPU/IO损耗专用网卡隔离流量秒级克隆秒级别克隆02任意时间点备份集群数据秒级别快速克隆集群秒级别快速恢复联机交易集群批处理集群硬链接数据库快照实时构建及加载sstableDGsln1sln3redo logTGrln1rln3版本N+1版本NsstableDGs1s2s3s4s5s6redo logTGr1r2r3r4r6r5rln2sln2金乌批量库存储数据实时同步源库(主)数据实时同步源库(备)金乌批量库联 机 交 易 集 群批 处 理 集 群依据调度算法重组基线数据灵活的调度算法选择备份动态均衡03备份数据自动均衡同构集群
4、=普通轮训异构集群=权重轮训 磁盘类型:HDD或SSD IOPS、带宽 磁盘空间剩余大小 CPU空闲率备份数据重组自动均衡平台化建设04 平台化管理 用户一键式操作 可视化界面实时监控平台化建设03 多模兼容关键技术金乌数据库多模兼容演0101020403HTAP多模兼容以OLTP为主,兼容部分AP能力,向HTAP混合架构逐步升级迭代。基础数据类型兼容高度兼容MySQL、Oracle、DB2数据类型。配套工具支持支持Oracle,DB2到Kingwow数据库的一键式自动迁移能力。SQL语法兼容支持SQL92至SQL2016全部标准,高度兼容MySQL,Oracle,DB2 SQL语法。兼容性对
5、比02数据类型OracleMySQLDB2金乌(Kingwow)32位有符号整数INTINTINTINT64位有符号整数NUMBERBIGINTBIGINTBIGINT高精度数值类型DECIMALDECIMAL/NUMBERDECIMALDECIMAL变长字符,N表示字节数VARCHAR(N)VARCHAR(N)VARCHAR(N)VARCHAR(N)定长二进制类型-BINARYBINARYBINARY分页ROWNUMLIMITROWNUM()LIMIT/ROWNUMBIT-BIT-BITBLOBBLOBBLOBBLOBBLOBCLOBCLOBLONGTEXTCLOBTEXTJSON-JSON
6、JSONJSON序列SEQUENCE-SEQUENCESEQUENCE时间类型DATEDATEDATEDATE时间戳类型TIMESTAMPTIMESTAMPTIMESTAMPTIMESTAMP存储过程支持支持支持支持(Oracle样式)视图支持支持支持支持临时表支持支持支持支持触发器支持支持支持支持自定义函数支持支持支持支持游标支持支持支持支持(只读)JOIN、集合操作、子查询支持支持支持支持 支持 SQL-92 至 SQL:2016 全部国际标准,高度兼容Oracle、DB