OceanBase Binlog 如何和 MySQL 生态打通_石梦飞.pdf

1、石梦飞OB 生态产品团队-数据迁移OceanBase Binlog 如何和MySQL 生态打通Contents目录01 Binlog 在 MySQL 生态中的应用02 Binlog Service 实现03 Binlog Service 应用实践01应用场景Binlog 在 MySQL 中的应用场景读写分离异地多活数据恢复审计MySQL Binlog缓存一致性数据分析与集成增量备份数据复制OceanBase Binlog 初衷现有的上下游系统如 Flink CDC、Canal、Otter 等系统可以无缝的对接 Binlog Service易集成易拓展基于 Binlog Service 更易构建

2、开放、灵活的数据处理体系集群化部署,保证数据同步的稳定可靠并支持横向扩展高可靠OceanBase Binlog 能力全兼容高度兼容 MySQL 原生的 binlog 管理语法和参数，平滑对接 Canal、Flink 等多种基于 Binlog 订阅的工具低风险通过异步方式进行数据抓取和传输，提供动态流量控制策略；Binlog Service 不会对主库造成性能影响高可靠Binlog Service 提供了集群化部署方式实现服务的高可用，为核心业务的数据流应用提供稳定的架构；支持横向拓展易管理用户在 OceanBase 租户管控台即可快速开通和管理 Binlog，并对服务的运行和资源使用进行监控；

3、提供完善的SQL API 可以灵活、高效地管理和使用 Binlog 服务多形态Binlog Service 已在公有云国内及海外站点发布；社区版 Binlog Service客户案例阿里云、AWS、华为云、腾讯云已经有超过 110 个集群开通 Binlog 服务，并切换到生产订阅110集群Binlog 实例数目前在云服务上已经超过了 200 个200+实例60+客户目前已经平滑对接和适配了包括Canal、Debezium、Maxwell、DTS、DMS、DRS、Cloudcanal、FinkCDC 等近 10几款工具和云服务10+下游工具02架构介绍Binlog Service 架构OBClo

4、ud公有云、多云OCP 私有云OMSObProxy 主地址show binlog server for tenant_1AZ1obmobi:3000obi:3001Node 1obmobi:3000obi:3001Node 2SLBDNSAddr.listAZ2obmobi:3001obi:3000Node 3obmobi:3001obi:3000Node 4tenant_1tenant_2tenant_3tenant_4OBMySQL 租户clog2binlogclog2binlogclog2binlogclog2binlogbinlog dumpsql querytenant_4tenan

5、t_3tenant_2tenant_1OBMySQL 租户clog2binlogclog2binlogclog2binlogclog2binlogObProxy 只读地址（binlog dump 水平扩展）show binlog server for tenant_1binlog dumpsql queryBinlog订阅REST APIBinlog订阅canalflinkcdcdebeziummaxwellDRC storeDTS storeOB binlog service 高可用&集群化架构分布式日志拉取和定序Fetcher分区数据T1 租户DDL 分区T2 租户DDL 分区P1DML

6、分区P2DML 分区DdlParserDDL 事务DDL 事务DDL 事务DDL 任务DDL 任务DDL 处理SequencerDDL 事务DML 分布式事务DML 分布式事务1.并发完成分布式事务组装2.事务定序：基于 commit_version+trans_id 全局定序3.DML 事务内定序：基于 SeqNo 排序4.行提交序号分配CommitterDMLTrans1DMLTrans1DDLTrans3DMLTrans4Trans5TransQueue行数据 QueueBRBRBRBRNot readyBRNot readyBRBR流式提交模型输出DmlParserP1-行数据P2-行