《携手共建:中国联通的 OceanBase 分布式数据库探索之路_邱永刚.pdf》由会员分享,可在线阅读,更多相关《携手共建:中国联通的 OceanBase 分布式数据库探索之路_邱永刚.pdf(21页珍藏版)》请在三个皮匠报告上搜索。
1、携手共建中国联通的 OceanBase 分布式数据库探索之路邱永刚中国联通软件研究院 OceanBase 开发负责人Contents目录01 分布式 CUDB 演进历程介绍分布式 CUDB 建设背景、与 OceanBase 的相识、从初创到成熟阶段的发展历程02 分布式 CUDB 生态体系介绍介绍分布式 CUDB 产品体系、工具体系、AI 赋能等核心能力以及社区共建内容03 使用效果与未来展望介绍分布式 CUDB 在联通内部的使用效果与产品的未来展望01分布式 CUDB演进历程2022 年 9 月底国资委下发文件,全面指导并要求国央企落实信息化系统的自研技术改造,要求央企、国企、地方国企全面落
2、实自研技术,总体目标是在重点推进行业央、国企 2027 年底实现 100%自研升级。金融/电信/电力石油/交通/航空航天教育/医疗建筑/烟草/地产/汽车等党政外部:政策+市场驱动“打好关键核心技术攻坚战,加快攻克重要领域“卡脖子”技术“2+8+N”XC 产业将迎来全面爆发市场化驱动201320142015201620172018201920202021202220232024202520262027政策驱动单点启动规模化启动政策驱动政策+市场双轮驱动市场驱动攻坚关基全栈 XC-攻关试点全栈 XC 数据库内部:需求导向服务器 飞腾 曙光 浪潮.操作系统 麒麟 统信.CPU 飞腾 鲲鹏 龙芯传统数
3、据库 mysql Oracle 达梦 申威 海光.海量.01020304建设背景2023202420212022技术选型基础架构搭建与功能实现产品化建设一键开通、弹性扩缩、高效迁移易用性提升,试点推广应用稳定性提升与生态完善对接监控运维体系大规模推广使用智能化运维开源共建,深入内核研究推广大型应用21 年底,从 XC 政策、替代高危 MySQL、降低商用依赖以及提升软研院软实力等几方面综合考虑,选定基于国内首家开源分布式 OceanBase 数据库产品打造自研产品分布式 CUDB,重点聚焦数据库产品生态工具方面的补齐和人员能力的提升,为替代 MySQL 和新上应用提供全栈 XC 的数据库资源及
4、服务能力。分布式 CUDB 演进历程 02分布式 CUDB生态体系介绍资源更省磁盘节省约 70%迁移更快10W/s 迁移速度可用性更高弹性扩缩等 16 个场景售前8 个场景解决方案售中8 大能力中心售后质量/效率/安全保障3 款国产芯片2 款国产操作系统3 款国产服务器功能特性数据库产品能力高效可靠服务生态体系全面好用全栈 XC 适配安全可靠计算(RUNC/KATA/KVM)存储(CEPH/LVM)网络(OVS/OVN/DPDK)+x86麒麟Open Power统信 UOS ARM(鲲鹏+飞腾)数据库管理数据库运营数据库运维数据库监控生态服务产品能力交付中心运维中心卸载中心操作中心恢复中心迁移
5、中心集群模式多副本容灾语法高兼容分布式引擎多租户隔离内存转储安全管控故障无感知切换.应用场景离线数据新上应用尽量采用 CUDB非核心业务系统MySQL 数据库全量替代外部应用感知中心决策中心数据库服务生态工具 CDAS分布式 CUDB 数据库产品分布式 CUDB 基于 OceanBase 社区版进行优化改进,将产品的开通、使用、监控、运维全面接入联通云,实现产品资源的一点开通、一点交付、一点监控、一点运维和一点操作,为联通云租户提供易用而专业的一站式服务。分布式 CUDB 产品体系大表迁移性能测试全库迁移性能测试对 645 张表进行迁移测试,总数据量 3 亿,其中超过 5000w 数据表 4
6、张。OMS 迁移时长 3787s,迁移速率 77189 条/s;MOT 迁移时长 909s,迁移速率325981 条/s,MOT 迁移速率为 OMS 的 4.2 倍。大表迁移效率 MOT 迁移速率为 OMS 的 3.5 倍,mysqldump 的 2.9 倍,datax 无法拆分主键并行迁移的 13 倍,与可拆分主键并发迁移最高性能相当。工具OMSMOTmysqldumpdataxdatax拆分性能(条/s)620052181427620716793212369兼容性测试表总数 645 张,OMS 不兼容 95 张,MOT 不兼容 2 张,MOT 兼容性为 OMS 的近 50倍。MOT 相比