如何设计高效透明的 DDL ：OceanBase 最佳实践_谢振江.pdf

1、谢振江OceanBase高级技术专家如何设计高效透明的如何设计高效透明的DDLDDL：OceanBaseOceanBase最佳实践最佳实践使用传统数据库DDL功能碰到了什么问题？MySQL 关键业务的DDL变更通常在业务低峰期MySQL DDL操作耗时长数据量大：约240亿行数据缺少并行能力某MySQL客户，大表建索引耗时近3周OceanBase的DDL想做成什么样的？透明高效的DDL透明 DDL执行时，对业务无感知 避免运维人员感知分布式环境的影响 单机数据库有的标准功能都可以有 某些DDL可以是自动档高效 不同DDL功能的速度预期不一样 数据量大时，DDL速度也要快 集群节点数量多时，DD

2、L速度也要快分布式数据库的DDL有哪些挑战？DDL执行过程中保持业务在线1.完全无锁变更：不阻塞在线事务读写可写补全数据可读可写T80:(100,100)T90:(200,200)T110:(300,300)已提交事务数据表分区1T130:创建索引表T30:(1,1)T70:(2,2)T115:(3,3)数据表分区2(2)(1)(100)(200)补全数据全局索引分区1如果不做处理，T110和T115数据将丢失在线业务优先活跃事务DDL执行过程中宕机1.系统高可用：能恢复2.幂等：从任意状态恢复后能继续做P1 P2OBServerSQL引擎存储引擎Tenant sys主表P1 索引P1Tena

3、nt 1ZONE_1P1 P2OBServerSQL引擎存储引擎Tenant sys主表P1 索引 P1Tenant 1ZONE_2P1 P2OBServerSQL引擎存储引擎Tenant sys主表P1 索引P1Tenant 1ZONE_3APP创建索引宕机如何做到DDL执行高效？1.create table t1(c1 bigint);2.alter table add column c2 bigint default 2;(2)(1)(100)(200)存储引擎数据C2默认值为2(2,2)(1,2)(100,2)(200,2)查询的数据可以不立即补全数据的DDL添加索引可写补全数据可读可

4、写数据表数据索引表数据分布式OceanBase单机OceanBase排序+旁路写入需要立即补全数据的DDLOceanBase 3.X DDL功能列操作添加列、删除列、重命名列、重排列、设置列默认值、删除列默认值、修改列约束为not null/null生成列操作添加虚拟生成列、删除虚拟生成列、添加实体生成列、删除实体生成列外键操作添加外键、删除外键表操作修改行格式、修改块大小、修改压缩算法、重命名表分区操作添加分区、删除分区、truncate分区索引操作创建索引、删除索引、重命名索引重整数据重整数据DDLDDL的挑战的挑战t1修改前P1P2OBServerSQL引擎存储引擎P3P4Tenant1

5、ZONE_1P1P2OBServerSQL引擎存储引擎P3P4Tenant1ZONE_1P1P2OBServerSQL引擎存储引擎P3P4Tenant1ZONE_1t1:3个hash分区t1:5个hash分区t1修改后DDL变更框架表锁OceanBase 4.X DDL有哪些变化？支持通用数据重整的DDL变更主键操作添加主键；删除主键；修改主键;修改列类型业务对字段长度扩充，如varchar变text等；业务需要对字段做长度约束，例如varchar变短等；业务需要做通用转换，例如int到varchar，int到decimal等；修改分区规则数据量超过单机规模；负载量超过单机规模；业务规则需要新

6、的分区规则；支持复杂DDL操作的原子变更删列操作与其他对象混合列操作互相混合修改列与主键操作混合4.X新支持的DDL功能功能OceanBase 4.0主键操作添加主键删除主键修改主键修改列类型变长变短跨类型变更修改分区规则非分区表转分区表分区表转分区表转换字符集支持添加自增列支持删列与其他对象混合支持列操作混合支持修改列与添加主键混合支持更强的DDL操作的可观测性DDL等事务结束步骤信息展示DDL数据补全的进度灵活的并行DDL配置表级并行SET _ENABLE_PARALLE