异构数据同步技术内幕（32页）.pdf

《异构数据同步技术内幕（32页）.pdf》由会员分享，可在线阅读，更多相关《异构数据同步技术内幕（32页）.pdf（32页珍藏版）》请在三个皮匠报告上搜索。

1、异异构构数数据据同同步步技技术术内内幕幕何何革革新新泽泽拓拓科科技技（深深圳圳）有有限限责责任任公公司司目录CONTENTS数据同步主要技术2常见数据同步方案3案例分析4常见数据同步场景1kunlun Server常见场景一-实时数据仓库oraclemysqlPostgreSQLMSSQLKunlunstorageKunlunstorageKunlunstorageKunlunstoragekunlun Servershard1shard2shard3shard4Kunlun DB 存储集群kunlun Serverkunlun ServerKunlunDB 计算层数数据据同同步步数数据据同同

2、步步META SERVERMETA SERVER订单系统物流系统CRM系统财务系统统计分析常见场景二-数据库备份容灾两两个个数数据据库库中中心心通通过过数数据据库库复复制制的的方方式式实实现现数数据据同同步步当当主主节节点点出出现现故故障障容容灾灾节节点点就就可可以以接接管管业业务务出出现现故故障障的的情情况况下下，要要求求RPO=0,RTO 30s常见场景三-数据共享&业务解耦通通过过数数据据同同步步解解决决信信息息孤孤岛岛问问题题，实实现现数数据据共共享享为为了了保保证证整整个个业业务务系系统统的的一一致致性性，要要求求数数据据同同步步在在实实时时性性和和准准确确性性上上面面有有保保障障订

3、单系统数据库数据同步结算系统物流系统查询系统CDC 工具常见场景四-读写分离读读写写分分离离可可以以用用来来解解决决数数据据库库的的读读性性能能瓶瓶颈颈，读读写写分分离离通通过过将将数数据据库库的的读读操操作作路路由由到到数数据据库库的的从从节节点点上上，从从而而降降低低数数据据库库主主节节点点的的负负载载，提提高高整整个个系系统统的的性性能能数数据据库库的的主主从从复复制制采采用用基基于于日日志志的的数数据据库库同同步步技技术术，可可以以实实时时的的将将数数据据同同步步到到从从节节点点数数据据库库主主从从复复制制可可以以采采用用同同步步模模式式或或异异步步模模式式数据迁移上云、下云数据库架构

4、迁移常见场景五-数据迁移跨跨平平台台迁迁移移跨跨数数据据库库迁迁移移表表结结构构迁迁移移变变更更目录CONTENTS数据同步主要技术2常见数据同步方案3案例分析4常见数据同步场景11，基于时间戳CDC(变更数据捕获)基基于于表表的的时时间间字字段段create_time和和modify_time识识别别变变更更数数据据缺缺点点：1.无无法法识识别别多多次次更更新新2.无无法法识识别别删删除除3.不不具具有有实实时时能能力力 2，基于快照CDC快快照照CDC就就是是一一次次性性抽抽取取源源系系统统中中的的全全部部数数据据，把把这这些些数数据据加加载载到到数数据据仓仓库库的的缓缓冲冲区区中中。下下

5、一一次次需需要要同同步步时时，再再从从源源系系统统中中抽抽取取全全部部数数据据，并并把把全全部部数数据据也也放放到到数数据据仓仓库库的的缓缓冲冲区区中中，作作为为数数据据的的第第二二个个版版本本，然然后后再再比比较较这这两两个个版版本本的的数数据据，找找到到变变化化。基基于于快快照照的的CDC可可以以检检测测到到插插入入、更更新新和和删删除除的的数数据据，这这是是相相对对于于基基于于时时间间戳戳的的CDC方方案案的的优优点点，但但它它的的缺缺点点是是要要大大量量的的存存储储空空间间来来保保存存这这些些快快照照。另另外外，在在表表比比较较大大时时，也也会会有有比比较较严严重重的的性性能能问问题题

6、。因因为为会会有有这这种种性性能能问问题题，所所以以也也可可以以使使用用SQL来来做做比比较较，数数据据库库引引擎擎的的性性能能往往往往比比ETL引引擎擎的的性性能能更更好好。支支持持异异构构同同步步3，基于触发器CDC在在源源数数据据库库创创建建触触发发器器，将将表表的的变变化化记记录录写写入入到到变变更更文文件件中中去去，实实现现变变更更数数据据的的捕捕获获4，基于交易日志CDC-PostgreSQL 逻辑复制逻逻辑辑复复制制同同步步数数据据的的原原理理是是，在在wal日日志志产产生生的的数数据据库库上上，由由逻逻辑辑解解析析模模块块对对wal日日志志进进行行初初步步的的解解析析,它它的的