2019年分布式数据库及数据中间件能力验证与实践.pdf

1、全球敏捷运维峰会广州站分布式数据库及数据中间件能力验证与实践全球敏捷运维峰会广州站NewSQL分布式数据库实现方案New Architecture TiDB CockroachDBTransparent Sharding Middleware Apache ShardingSphere MyCatDatabase-as-a-Service Amazon Aurora PolarDB全球敏捷运维峰会广州站基于开源分布式数据库架构选型思考通过积累最佳实践方法和经验，设计出符合业务需求和管理需求的开源架构，以满足创新业务的运行支撑要求。2.使用开源架构来支撑创新业务建立开发和运维部门中的核心开源技术

2、团队，实现开源技术领域的可持续性的发展。充分利用自身条件，与外部开源社区建立良好沟通和互动渠道：”请进来”或”走出去”。4.锻炼具备相关技术的团队建立部署管理，配置管理，日志管理和监控告警管理等多种手段，实现对开源软件和开源架构的安全可控。3.建立完善的保障制度建立正确的开源软件选型标准。社区成熟度、软件成熟度1.选择适合的开源技术全球敏捷运维峰会广州站甜橙金融深度参与开源分布式数据技术分布式数据中间件开源项目Apache 孵化器项目(2018/11/10)9200+Star京东数科项目发起及维护甜橙金融深度参与及贡献ShardingSphere PMC 成员NewSQL 分布式数据库开源项目

3、CNCF 孵化器项目(2019/5/21)21000+StarPingCAP 项目发起及维护甜橙金融深度参与和投产实践聚焦多中心多活及云原生领域能力积极参与国内数据库及开源社区智能运维，云数据库管理，数据分布式传输等领域长期研究人工智能，区块链，安全，大数据领域积极实践全球敏捷运维峰会广州站ShardingSphere 功能架构核心功能数据分片分布式事务数据库治理弹性伸缩管控界面实现方案Sharding-JDBCSharding-ProxySharding-Sidecar云原生无中心零侵入Apache ShardingSphere全球敏捷运维峰会广州站ShardingSphere 的技术优势与

4、特点数据分片为核心的多种解决方案多种形式接入数据编排与治理微内核&开放生态全球敏捷运维峰会广州站甜橙金融 ShardingSphere应用架构 Java应用通过Sharding-JDBC接入 通过DTS将MySQL数据同步到ES&HBASE中，满足OLAP场景。MOZIS运维平台通过Sharding-Proxy接入，提供日常运维支持 利用配置中心对相关配置信息进行统一管理全球敏捷运维峰会广州站甜橙金融 ShardingSphere应用实践 应用性能监控 基于pinpoint进行的二次开发。采用字节码增强技术 编写plugin完成ShardingSphere核心链路方法的监控平台架构全球敏捷运维

5、峰会广州站甜橙金融 ShardingSphere应用实践 应用性能监控全球敏捷运维峰会广州站甜橙金融 ShardingSphere应用实践 Proxy优化Sharding-Proxy多逻辑数据源支持Sharding-Proxy Backend NIO 优化全球敏捷运维峰会广州站甜橙金融 ShardingSphere应用实践 可视化管控 数据分片配置管理 运行实例编排管理 自动弹性扩缩全球敏捷运维峰会广州站大并发强一致分布式数据处理场景的思考业务场景需求分库分表模式NewSQL 模式业务维度的选择和切分适合业务中数据模型容易按照单一维度切分和查询的场景。(比如时间+Hash)不限维度的自由查询和

6、数据建模（与单机数据库相同）跨库跨节点复杂计算数据 切分后无跨节点跨库聚合及复杂关联查询的业务很友好和便利不限维度的进行跨节点跨库 的 JOIN 关联及聚合计算。(包含计算下推能力）分布式强一致事务数据 切分后无跨节点跨库聚合及复杂关联查询的业务很友好和便利适合联机交易业务有强一致分布式事务刚需的场景大表占比数据库内大表(千万到亿以上行记录规模)数量占比较小的业务场景比较便捷数据库内大表行记录规模和数据规模没有什么限制，适合数据快速增长的业务混合负载(HTAP)适合业务单一负载，尤其是计算复杂度低的大并发联机交易适合同时存在有 OLTP 联机交易和 在线