2019年ApacheShardingSphere数据平台演进之路.pdf

1、ApacheShardingSphere数据平台演进之路数据平台DBDBDBDBManageIntegrateGather数据库集群数据分片分布式事务分布式治理弹性扩展接入端架构架构数据库数据库 计算 存储ShardingSphere SQL解析&改写&路由 分布式事务拓展拓展 高可用 数据脱敏 可观察性 弹性伸缩 数据库u 充分利用数据库的存储能力u 在保证查询结果正确的前提下，充分利用数据库的计算能力。例如：SELECT AVG(score)FROM student;score=-+/+0 =()()架构数据库数据库 计算 存储ShardingSphere SQL解析&改写&路由 分布式事

2、务拓展拓展 高可用 数据脱敏 可观察性 弹性伸缩 SQL理解SELECT AVG(price)FROM billWHERE user_id=1解析处理user_id=1改写SELECT SUM(price)/COUNT(price)FROM bill_0WHERE user_id=1ROOTSELECTITEMSavg(price)FROMTABLEbillWHERECONDITIONSuser_id=1规则规则SQL理解方案优点缺点第一代解析引擎Druid SQL Parser支持多数据库解析效率较高新旧版本不兼容SQL解析引擎无法自主可控第二代解析引擎自研的”半理解”方式解析器支持常见的关

3、系型数据库解析效率最高无法实现100%SQL兼容维护成本高第三代解析引擎ANTLR语言解析器自定义解析规则实现100%SQL兼容穿透缓存的情况下解析效率略低SQL路由分布式事务电商技术金融本地事务两阶段事务柔性事务业务改造无无实现相关接口一致性不支持强一致最终一致隔离性不支持原生支持服务保证并发性能无影响严重衰退略微衰退适合场景业务方处理不一致短事务/低并发长事务/高并发事务层级数据库层数据库层服务层分布式事务分布式事务事务集成LocalXAAtomikosNarayanaBASESagaSeata事务自研NativeJDTXSaga:https:/ 透明化底层分布式事务实现细节，用户可使用标

4、准API开启分布式事务。u 支持同时使用数据分片，分布式事务等。u 依据实际场景，用户可选择使用不同类型的分布式事务。分布式事务DBDBDB数据库集群JDTXTM/RM写入查询MVCCWAL架构数据库数据库计算存储ShardingSphereSQL解析&改写&路由分布式事务拓展拓展高可用数据脱敏可观察性弹性伸缩数据脱敏电商技术金融参考文章：https:/ Server贡献社区贡献者 技术积累 影响力积累 交友圈扩大 职业渠道扩宽社区 功能扩展 生态圈活跃 知名度增加 持续发展 云公司开源战略 业务系统采用 个人兴趣提升来源 相互促进 弹性控制 兴趣与目标驱动工作与开源成为Committer技术代码贡献Issue调查文档补充UI设计文章分享AnyThing