RocketMQ Connect 构建数据流转处理平台_傅玉宝.pdf

1、傅玉宝Apache RocketMQ Committer阿里云消息混合云负责人RocketMQ Connect RocketMQ Connect 构建数据流转处理平台构建数据流转处理平台Contents01RocketMQ Connect 概述02RocketMQ Connect 实现原理03RocketMQ Connect 与OceanBase构建数据流转平台04RocketMQ Connect 现状与未来目 录05总结01RocketMQ Connect 概述削峰填谷异步解耦通过业务系统的松耦合设计，即便下游系统出现不可用甚至宕机，都不会影响到核心系统的正常运转，同时由于上下游异步解耦，可

2、以灵活高效的适应因业务快速发展而带来的变化，如新系统扩容。秒杀、抢红包等大型活动时会正在短时间内带来较高的流量，如果没做相应的保护而导致系统超负荷甚至崩溃，或因限制太过导致请求大量失败而影响用户体验，削峰填谷是解决该问题的有效方式。RocketMQ Connect 概述Apache RocketMQ 介绍事务消息交易、红包等场景需要确保数据的最终一致性，大量引入 RocketMQ 的分布式事务，既可以实现系统之间的解耦，又可以保证数据的一致性。RocketMQ Connect 概述RocketMQ 丰富的数据生态SourcesDestinationRocketMQ Connect 概述没有 C

3、onnect 的数据同步方案OB2ESData syncProducerServiceConsumerService方案一方案二Data PipelineRocketMQ Connect 概述没有 Connect，数据同步面临的挑战数据源多 上百数据源，n*n 问题 系统差异性较大 研发周期长高可用Failover 能力当一个节点挂掉是否这个节点的任务就停止了，任务重新启动是否还可以断点续传集群运维集群监控，运维管理，随着数据管道的增多，如何管理，运维监控这些数据管道也变的越来越复杂高性能如何高效的从源数据源到目的数据源的数据同步弹性扩缩容根据系统流量动态的增加减少节点数量，既能通过扩容满足高

4、峰期业务，也能在低峰期缩减节点，节省成本RocketMQ Connect 概述构建 RocketMQ Connect 数据集成解决方案1.标准化数据集成 API（Openmessaging Connect API）（标准数据同步格式，数据及 Schema，任务模型抽象）。2.标准化运行时-Connect Runtime。3.基于 Connector API 生态扩展能力。CDC流计算数据湖MySQLOceanBaseRedisESHivePostgreSQLDirosMongoDBHudiRocketMQ Connect Runtime集群管理配置管理位点管理负责均衡REST APIhttp:

5、/127.0.0.1:8081/connectors/OceanbaseConnector1?config=connector.class:org.apache.rocketmq.connect.mysql.OceanbaseSourceConnector,connect.topicname:table1Topic,jdbc:/Users/connect/sink-file1.txt,username:root,password:123456,table:table1http:/127.0.0.1:8081/connectors/ESSinkConnector1?config=connecto

6、r.class:org.apache.rocketmq.connect.es.ESSinkConnector,connecttopicnames:table1Topic,jdbc:/Users/connect/sink-file1.txt,username:root,password:123456,table:table1配置化使用RocketMQ Connect 概述Connect 方案的优势 模型统一，基于 Connect 框架，标准化接入各种数据源。插件式，易添加 Connctor，成本低。高可用，自动容错处理。易扩展，动态扩缩容。易运维，提供统一集群管理、监控的能力。RocketMQ