OceanBase数据传输服务 OMS_杨林.pdf

1、杨林OceanBase 高级技术专家OceanBase OceanBase 数据传输服务数据传输服务 OMSOMSContents目 录01OMS 介绍02客户案例03UpcomingOMS 功能概览OMS(OceanBase Migration Service)是 OceanBase 提供的一站式数据传输服务on-premise&cloud异构数据库迁移上 OB数据库版本升级异地灾备实时计算传统关系型数据库MySQLOracleDB2OBschema 转换全量迁移增量迁移数据校验OMS数据迁移全量同步增量同步OMS 数据同步异构数据库OB消息队列datahubRocketMQKafkaOce

2、anBaseOMS 数据迁移3w+MySQL&Oracle databases migrated迁移中迁移后平滑迁移业务无感最小化切割时间窗口安全回滚应用反向回流切割切割OceanBase异构数据库应用正向同步OceanBase异构数据库迁移前应用异构数据库应用异构数据源OceanBaseOMS 数据迁移 流程对象全量增量校验割接反向预检查OceanBaseOceanBaseMySQLOracleOMS 数据同步全量初始化基于 CDC 持续增量同步数仓&数据分析，企业决策OceanBasekafkaflink聚合同步，AP分析OceanBaseMySQLMySQLMySQLMySQLMySQL

3、MySQL跨地域/异构容灾OceanBase北京OceanBase上海OceanBase深圳异地多活OMS 整体架构管控系统OMS传输系统集群管理高可用监控SOURCEMySQLOracleDB2OBOceanBase异构数据库OBKafkaDatahubRocketMQOMS管控系统MysQL pluginoracle pluginDb2 pluginOB plugin数据源插件统一记录模型int8.floatdoubledecimalbytesstringdatetimetimestamptimestamp_tzdurationyear数据切片全量迁移数据切片位点管理ETLwriter性能

4、稳定性数据质量增量日志解析增量日志解析事务日志解析schema管理事务管理回查管理数据存储增量同步并行回放冲突检测DDL同步事务拆分幂等控制ETL全量校验数据切片源端reader不一致记录目的端reader数据订正校验增量校验数据对齐源端日志不一致记录目的端日志数据订正校猃OMS 预检查将问题尽可能在链路创建前暴露出来 连通性检查 账号权限检查 事务日志格式检查 时钟同步检查 数据库版本、引擎检查 唯一键检查 字符集检查 外键依赖检查 列类型检查 大小写敏感检查OMS schema 转换ASTtableindexconstraintviewstore proceduretriggerseque

5、nce源端对象名称类型分区约束tableindexconstraintviewstore proceduretriggersequenceOceanBase 对象DDLOMS 全量迁移性能模型性能模型多表并行调度表内切片并行调度 基于 PK/UK 切片 基于数据存储组织方式切片，比如 Oracle写入防打爆保护源端DBT1T2T3T4OceanBaseT1T2T3T4SELECT*FROM T1 WHERE PK1000 AND PK=2000(1000,200012000,3000数据切片(1000,2000reader(1000,2000writer(1500,2000位点管理全量迁移断点

6、续传prepareloadcommit批量读流式串接批量写OMS 增量同步基于事务日志的增量数据解析串行事务依赖计算转并行，保证回放速度。全链路延迟秒级内高级特性高级特性DDL 同步大事务处理数据打标以及基于打标数据的过滤，构建双向复制链路或者多活同步链路SourceMySQLbinlogOracleredoDB2redoOBclogCDC Servicesouce plugins事务日志拉取记录组装&元信息浅解析&过滤事务管理数据解析&回查queueschema registryConnectorT4T5T6T7