梁行-GreatSQL社区在数据库数据校验&修复中的探索与实践420-梁行.pdf

《梁行-GreatSQL社区在数据库数据校验&修复中的探索与实践420-梁行.pdf》由会员分享，可在线阅读，更多相关《梁行-GreatSQL社区在数据库数据校验&修复中的探索与实践420-梁行.pdf（41页珍藏版）》请在三个皮匠报告上搜索。

1、GreatSQL社区在数据库数据校验&修复中的探索与实践梁行GreatSQL社区开源项目负责人单击添加标题目录CONTENTS关于GreatSQL 社区01gt-checksum 特性03gt-checksum 展望04关于gt-checksum 02GreatSQL 社区GreatSQL社区简介GreatSQL 社区愿景GreatSQL 社区GreatSQL社区成立于2021年，是一个MySQL开源数据库社区，由万里数据库发起，致力于通过开放的社区合作，构建国内自主的MySQL版本及开源数据库技术，推动中国开源数据库及应用生态繁荣发展。成为中国广受欢迎的开源数据库社区GreatSQL开源数据

2、库是适用于金融级应用的国内自主MySQL版本，专注于提升MGR可靠性及性能，支持InnoDB并行查询等特性，可以作为MySQL或Percona Server的可选替换，用于线上生产环境，且完全免费并兼容MySQL或Percona Server。GreatSQL社区发展历程GreatSQL社区现状国内活跃的 MySQL 开源社区l 活跃参与者超 2000 人l 活跃的社区微信群l QQ 群l 微信群02获得中国信通院 CAIT 可信开源评测l 通过可信开源项目评测l 加入可信开源共同体成员l 银河TWOS成员l 科技制造开源社区成员03加入openEuler 生态l 首个加入openEuler

3、生态的MySQL 系国产开源数据库l openEuler22.09 版本正式合入 GreatSQL04社区主要项目l GreatSQL 开源数据库l gt-checksum 数据校验&修复工具01社区用户GreatSQL 社区从上线初期就收获了社区用户的高度关注，短时间内就聚集了上千位专业 DBA 的粉丝群体，以及有几十位社区企业用户，如：恒生电子旗下的芸擎网络科技 深圳华润 靠谱云 中信建投 福建福富 作业帮 建信金科 直真科技 通达信 力维智联单击添加标题目录CONTENTSgt-checksum 关于GreatSQL 社区01gt-checksum 特性03gt-checksum 展望0

4、4关于gt-checksum 02DBA的苦恼？-大数据量主从恢复操作运维replication：34TB的主从实例做恢复操作运维mgr：mgr集群因大事务或网卡导致节点崩溃，进行恢复-物理资源限制恢复节点：传输备份文件受网络带宽限速限制恢复节点：备份数据时受磁盘容量影响导致无法备份受网络、磁盘、cpu、内存限制-重复性工作统计全库所有表的行数（数据稽核）统计全库所有表的结构信息（迁移、主从等）寻找主从库数据是否存在差异因数据类型转换错误导致数据的重复迁移（一个表多个小时）DBA的苦恼？-数据迁移稽核数据割接的稽核工作（load data+vimdiff）稽核效率慢，数据动态变化，变更窗口时间

5、短-业务割接遗漏割接：遗漏存储过程、函数、触发器等迁移变更：变更步骤遗漏（表结构变更+数据迁移）oracle date-mysql date导致数据被截取-迁移工具bug字段截取、乱码、数据类型错转等-待机时间长割接、上线、数据变更等熬夜时间长-背锅侠迁移工具类型转换：产生数据误差（例如：number-dicimal(65,30)）场景苦恼？-数据的快速抽取不影响业务的情况下，做数据归档或抽取分析-异地灾备灾备机房下的实例或集群的数据定期检测-上下云场景迁移工具、数据类型、字符集导致的数据被恶意串改、缺失、截取（乱码、字符缺失等）-异构迁移场景因数据类型转换、数据类型长度、字符集等导致的数据被

6、串改、缺失、截取-定期巡检场景保证数据冗余的正确性，防止ha切换导致程序查询数据异常情况苦恼良方！脚本化处理优点灵活，自定义检测内容可控，可以自行修改代码规范，减少低级错误或人为错误产生运维简单,上手容易脚本化处理不足效率低支持场景少，校验表结构可以，数据量困难，异构场景支持难度大面向数据库零侵入性的数据校验source DBdest DBOMMO双向校验表结构校验表数据校验数据校验方案数据校验方案结构一致性校验校验工具应该具备的特质完善数据一致性校验差异数据快速定位修复语句生成及快速应用能力校验速度要够快对数据库零侵入对数据库性能影响可控按字符进行比对，检测细微差异支持异构校验增量数据校验多