为开发者打造灵活高效的一体化产品_杨志丰.pdf

《为开发者打造灵活高效的一体化产品_杨志丰.pdf》由会员分享，可在线阅读，更多相关《为开发者打造灵活高效的一体化产品_杨志丰.pdf（31页珍藏版）》请在三个皮匠报告上搜索。

1、为开发者打造灵活高效的一体化产品为开发者打造灵活高效的一体化产品杨志丰OceanBase 产品部总经理Contents目录一体化产品演进历程01 AP 从实时数仓到湖仓一体03 Roadmap05 TP 关键业务负载行稳致远02 OceanBase on Any Cloud04 0101一体化产品演进历程OceanBase 一体化数据库一体化架构技术领先一体化产品理念产品易用多产品形态商业成功OceanBase 架构发展历程V1.0分布式事务，多租户OBServerOBServerZone2016V4.0单机分布式一体化OBServerOBServerOBServerOBServer2022V

2、0.1分布式，三副本高可用2010UpdateServerUpdateServerUpdateServerSQLSQLSQLChunkServerV2.0V3.0高兼容，高性能，混合负载OBServerOBServerZoneOBServerOBServerZoneOB-MySQLOB-OracleZone2018OB-MySQLOB-OracleZoneOB-MySQLOB-OracleZoneV4.4多云原生OBServerOBServerOBServer对象存储2025OceanBase 单机分布式一体化架构高可扩展性 按分区做数据分片扩展 多 Zone 多活扩展对等节点 无共享集群 O

3、BServer 包含 SQL、存储、事务单集群规模 TPC-C 使用 1557 节点单机分布式一体化 以单机部署时，可以获得单机数据库相当的性能和效率 组件在单进程内通讯 多个分区可共用一个日志流 单机内无分布式事务 以分布式部署时，不仅可扩展，还可以做到高性能低时延ZONE_1OBServerZONE_2OBServerZONE_3OBServerOBServerOBServerOBServerOBProxyOBProxyOBProxyTenant_1LS1LS2LS3水平扩展主副本从副本Paxos复制Tenant_2LSP1P2P3P4TabletTenant_1LS4LS5LS6Tena

4、nt_3Tenant_1LS1LS2LS3Tenant_2Tenant_1LS4LS5LS6Tenant_3Tenant_1LS1LS2LS3Tenant_2Tenant_1LS4LS5LS6Tenant_3无损自动容灾OceanBase 企业版单机版基于单机分布式一体化架构，满足客户从分布式到单机场景的多元化需求100%根自研全自主研发核心技术无任何第三方依赖更强性能同等硬件环境下，OceanBase 单机版 SysBench 高并发写入性能相比 MySQL 8.0 提升 114.99%*测试环境说明：服务器规格 16c64g，并发数 1000平滑迁移高度兼容 MySQL 及 Oracle，

5、可在保持原有应用架构基本不变的前提下完成数据库平滑升级面向未来的架构选择通过一个引擎原生支持多工作负载和多数据类型的需求原生兼容 HBase，简化数据架构应用场景：1.行业头部企业核心与非核心统一技术栈 2.多层级分布式&单机混合应用 3.国产升级 4.中小企业轻量级小数据量业务OceanBase 数据库共享存储部署架构（v4.4）OBProxy对象存储S3/OSS/COS/OBS日志存储AZ_3AZ_2AZ_1LogStore_1LS1LS2LogStore_2LS1LS2LogStore_3LS1LS2AZ_1Local Storage CacheLOGOBServer_1SSTTenan

6、t 2Tenant 1Local Storage CacheLOGOBServer_3SSTTenant 4Tenant 3AZ_2Local Storage CacheLOGOBServer_2SSTTenant 2Tenant 1Local Storage CacheLOGOBServer_4SSTTenant 4Tenant 3低成本 SST 数据块全量存储于对象存储，降低存储成本 OBServer 本地缓存加速 多集群共享存储高可用 基于 Paxos 的独立日志存储服务 保证 RPO=0，RTO 8s弹性伸缩 存算分离，灵活扩缩容 日志副本数与计算副本数解耦，可实现基于单副本的高可用模

7、式 快速扩缩容：计算资源水平扩缩容时无需物理迁移数据OceanBase 共享存储全新产品家族AP 系列TP 系列KV 系列场景特点：非核心业务系统（如中后台系统、历史数据、测试环境）海量数据历史订单库需求痛点：降低非核心业务成本产品形态：2F 双可用区部署 无损自动容灾，单 AZ 故障 RPO=0，RTO8s 支持自动冷热分离，热数据自动本地缓存 平均读取时延较好场景特点：支持海量数据低成本存储和实时分析的数据湖仓需求痛点：降低海量数据存储成本 提升实时分析的性能产品形态：2F 双可用区部署 或 1F 单可用区部署 无损自动容灾，RPO=0 快速增删计算节点扩缩容，按需增加只读副本 高吞吐率，

8、查询亚秒级实时响应 支持自动/手动冷热分离场景特点：查询简单的历史订单库 海量用户行为记录 监控类时序数据存储需求痛点：降低海量数据存储成本产品形态：2F 双可用区部署 或 1F 单可用区部署 无损自动容灾，RPO=0 快速增删计算节点扩缩容 高性能写入，平均读取时延较好 支持自动/手动冷热分离单副本产品系列：提供保证数据可靠前提下的极致性价比 同城冗余对象存储 机房级容灾：单 AZ 故障时，无损自动容灾，保证 RPO=0,RTO 分钟级高可靠&高可用极致性价比OBProxy对象存储S3/OSS/COS/OBS日志存储AZ_3AZ_2AZ_1LogStore_1LS1LS2LogStore_2

9、LS1LS2LogStore_3LS1LS2AZ_1Local Storage CacheLOGOBServer_1SSTTenant 2Tenant 1Local Storage CacheLOGOBServer_2SSTTenant 4Tenant 3TP 系列：最经济的入门级规格 单计算节点使用时，为云上“高可靠单机版”AP 系列：RTO 宽松场景下的主流规格 单 Zone 内快速增删计算节点KV 系列：适合时序类数据低成本存储 用户可自定义冷热分离规则一体化架构新发展：从存算一体到存算分离一体化一体化架构架构一体化一体化产品理念产品理念多工作负载一体化（TP+AP）多模一体化（SQL+

10、NoSQL）向量融合一体化（SQL+AI）多产品多产品形态形态单机分布式一体化多云原生（存算一体+存算分离）OceanBase 企业版（分布式版/单机版）OceanBase 数据库一体机OB Cloud 云数据库（事务型/分析型/KV型）OB Cloud 云数据库（事务型/分析型/KV型）共享存储版一体化数据库：面向 GenAI 时代更好的数据底座扫码下载小蓝书0202TP 关键业务负载行稳致远为企业核心业务场景+多元业务场景提供保障易用好用好用可用可用能用能用灵活可控安全功能丰富低成本持续可用可扩展高性能数据可靠服务稳定正确1234567891011高级需求成长需求基础需求面向 TP 场景

11、助力关键业务系统升级TP 性能提升相比 4.2.1，SysBench rw 提升26%batch insert 提升 52%TP 性能优化相比 4.2.1，4C 小规格 SysBench select 提升37%，insert 提升 53%小规格性能优化大INLIST优化，统计信息收集效率提升支持统计信息拷贝，估行与统计信息增强查询改写与计划选择能力持续提升计划生成与执行优化查询优化器自动确定并行度提升并发查询性能自动并行度（Auto DOP）数据导入速度提升 6 倍，支持备份恢复与物理备库，极大提升迁移与运维效率旁路导入批量建表/Truncate等操作性能提升 10 倍以上，并发控制更优DD

12、L 性能基于全面的监控指标和会话采样，内置全新的系统性能分析报告内置性能诊断报告新增标准时间模型统计指标，新增后台线程计时，PL、索引使用、XA 事务、算子、PX 监控优化系统细化监控指标支持直接读取文件系统或OSS上的外部数据方便数据分析与集成，提升开发与运维效率外表功能计划生成、统计信息、查询改写、负载均衡等能力持续优化持续打磨运维体验高可用与容灾能力支持主城市双中心+异地仲裁，减少带宽依赖提升故障切换能力仲裁服务与两地三中心故障恢复时间（RTO）小于8秒，覆盖多种异常场景（如宕机、网络中断、IO异常等），保障业务连续性极致容灾恢复支持不同租户灵活主备部署，备库同步仅依赖归档日志，支持更灵

13、活的容灾策略租户级别物理备库安全与合规MySQL 模式支持基于角色的权限管理Oracle 模式支持代理用户多模式权限管理MySQL 模式支持审计日志审计能力可无缝迁移的 MySQL兼容性在兼容 MySQL 5.6和5.7的基础上支持 MySQL 8.0 的新特性，包括更多SQL Mode、函数、系统变量和视图等全面兼容 MySQL 5.6、5.7、8.0支持将事务日志转换为 MySQL Binlog格式，确保与原有基于MySQL增量数据订阅方案的数据同步无缝对接兼容 MySQL Binlog 支持 EVENT 对象的定时任务LOCK TABLES 表锁及GET_LOCK()用户自定义锁等更强大

14、的基础功能兼容 MySQL SERIAL 类型，支持ASCIITIS620、UTF8MB3 字符集，GIS 及XML 相关表达式，兼容 MySQL 非法日期处理更全面的数据类型完整支持 COM_SET_OPTIONCOM_PROCESS_INFO 等通信协议兼容通信协议全面支持 MySQL 系统变量，支持information_schema.optimizer_trace等视图兼容系统视图和变量支持SHOW CREATE USER、CHECK TABLE等语句，以及LOW_PRIORITY等选项，确保语法和选项的兼容性兼容语句选项支持 MySQL 生态工具的无缝适配新增 pt-archiver

15、,goInception 等 29 种MySQL 三方工具适配三方生态适配更好的易用性久经考验的 Oracle 兼容性久经真实场景考验，汇集在银行、券商、保险、运营商、电力、人社等关键行业实际业务大规模行业场景验证提升多表JOIN计划生成与执行器性能，减少关键业务系统迁移遇到的复杂查询性能挑战复杂查询性能全面兼容 Oracle 复杂数据类型，完善Oracle系统包支持，确保业务场景的平滑迁移存储过程兼容兼容Oracle的LOB存储，支持TB级数据存储和延迟加载，确保大数据量操作平滑迁移LOB 支持增强对JSON和XML的支持，兼容Oracle相关函数和存储方式，简化数据迁移与处理JSON 与

16、XML 支持支持跨OceanBase和Oracle的写事务，确保数据一致性和最小迁移改动Database Link 与 XA强化稳定性和安全性 支持更苛刻条件下的业务连续性和合规性稳定性应急能力Format Outline 模糊绑定计划或限流SQL 级内存使用控制SQL 关键字限流隔离性增强DBMS_SCHEDULER JOB 调度线程拆分到租户用户表锁请求统一切到特殊线程组处理变更影响小分区 DDL 后全局索引不失效利用异构 Zone 做平滑扩缩容适配增强稳定性正式支持Rocky Linux 9安全合规TLS证书方式登录通过接入assume role使用临时密钥访问对象存储，避免使用全局密钥

17、多云统一支持 KMS 密钥管理支持隐私列加密安全特性国产适配RPC 通讯支持国密合规可靠通过中国信息安全评测中心“安全可靠测评”自动分区：手自一体 兼顾性能与易用性手动分区表自动分区表使用方式：Partition By Hash/Key/Range适用场景：核心业务，性能要求高优点：可控性强，多种分区方式 性能上限高，数据和负载均衡缺点：需要根据业务负载设计分区方式使用方式：按数据量大小自动分裂和均衡适用场景：多元化业务，性能要求适当 全局索引优点：无需设计和关注分区方式 非分区表随数据量增长自动变更为分区表 自动分区和手动分区可并存，且可手动分裂分区，平衡易用性和性能0303AP 从实时数仓

18、到湖仓一体OceanBase 4.3.5：面向 AP 场景功能完备的首个 LTS 版本 外表（v4.3.04.3.5）DBLink（v4.2）数据湖仓 外部 Catalog（v4.3.5）快速旁路导入（v4.3.04.3.5）CDC+Flink（v4.2）：流式实时处理数据集成 导出到文件（v4.3.04.3.5）物化视图（v4.3.04.3.5）Insert overwrite（v4.3.3）数据加工 分区交换（v4.3.1）多表关联，普通视图等（v4.2）堆表组织表（v4.3.5）String,Bitmap,Array（v4.3.34.3.5）表模型与数据类型 标量、向量、半结构化多模数据

19、类型（v4.2）向量化执行引擎（v4.3）并行执行引擎（v3.2）计算引擎 列存表（v4.3.0）行列混存表（v4.3.0）存储引擎 列存副本（v4.3.3）行存表（v4.2）：维表点查 单机分布式一体化（v4.2）多云原生（v4.4）一体化架构OceanBase 4.3.5 AP 功能概览向量检索HNSW_SQ 索引，内存占用降低到原来的1/31/4；IVF 索引，无需常驻内存AP 功能完备主键与数据记录解耦，导入过程无需对主表数据排序，提升导入性能和查询性能堆表组织表嵌套物化视图；支持控制刷新并行度；去除 DDL 的各类限制；增量物化视图支持 LOB 类型物化视图外表支持读 ORC；支持读

20、写 MaxCompute；支持读写 HDFS；支持 MaxCompute Catalog SELECT 支持直接查询指定路径文件无需创建外表外表集成指定分区旁路导入；支持 HASH 分区；增量旁路导入支持多分区并发；导出 Parquet 和 ORC 格式文件和压缩文件；租户级默认导入模式可选快速导入导出Array 类型，新增 30+个处理函数；Bitmap 新增10+处理函数，并基于二阶段优化增强并行处理能力;String 类型，无需定义字符串长度AP 数据类型新增IK 中文分词器；match against 新增布尔模式；支持查询时多索引合并；分词器插件化全文索引多模融合分析性能提升导入性能

21、相对 4.3.2 累计提升 300%写入性能优化HTAP 能力持续打磨优化 IO 资源分层共享；统计信息收集及 CLOG 日志接入后台资源隔离；cgroup 开关动态生效提供默认资源隔离模板控制后台任务资源隔离SQL 引擎优化提升硬解析性能；丰富 explain 计划诊断信息提升列存表的统计信息收集性能；新增若干项改写优化规则如对下压谓词排序，生成更有计划优化器Insert_on_dup 等复杂 DML 支持并行执行；cast,in 等性能大幅提升；PX 并行计算节点与数据节点解耦，更充分利用机器资源执行器SQL 诊断易用性SQLSTAT、分 SQL 类型的直方图统计V$SESSION_LON

22、GOPS 视图诊断 DDL 执行分区自动管理按时间自动管理 range 分区的生命周期按规则预创建和删除分区堆表组织表基于主键顺序存储，数据和主键索引绑定按主键排序，数据导入更慢基于主键的查询更快，尤其是范围查询非主键查询，IO 开销可能更大场景：频繁按主键访问索引组织表 Index-Organized Table数据无序存储，独立的主键索引数据导入更快主键查询需要回表非主键查询可能更快，按业务序存储，更易利用 skip index场景：高写入、复杂查询堆表组织表 Heap-Organized Table嵌套物化视图：数据加工和预处理利器业务日志Business LogTP 数据库OLTP D

23、atabase队列queueCDCChange Data Capture实时写入Real-time Writes批量写入Batch Writes部分更新Partial Updates数仓&在线服务Data Warehouse and Real-Time Services使用物化视图能力实现海量数据实时分析非实时&实时物化视图全量刷新&增量刷新（多表关联、聚合）自动查询改写嵌套物化视图基表支持外表，作为缓存加速列存表Column-Store TableODSOceanBase物化视图Materialized ViewsDWD物化视图Materialized ViewsDWD列存表Column-S

24、tore TableADS交互式查询Interactive Query联邦查询Federated Query复杂查询Complex Query多维查询Multi-dimensional Query报表ReportingBIBusiness Intelligence即席查询Ad-hoc Query外表和数据湖集成核心竞争力文件（CSV/Parquet/ORC）数据源（ODPS）远端库（DBLink）数据在外部（OSS/S3/HDFS)本数据库管理元数据通常无事务保证加速导入冷数据低频查询外表Catalog（ODPS/Hive）湖格式（Iceberg/Paimon）开放的表格式统一元数据层跨系统协

25、作缓存加速流批一体数据湖相互促进0404OceanBase on Any CloudOB Cloud 云数据库多云原生，打造面向云的一致体验自运营迁移数据服务迁移评估服务数据同步服务数据开发平台自治诊断服务OceanBase 一体化多模数据库内核租户版标准集群版Key-Value 集群版Serverless共享集群Free Trial云数据库服务覆盖全球 30+区域 100+可用区覆盖 6 大云服务商商业渠道云市场云服务数据库及工具多云数据库管控平台数据库及工具 跨云主备库 跨云多活跨云容灾 跨云备份恢复 多云一致的购买链路 多云一致的产品规格 多云一致的开发运维体验，又与原厂工具深度集成 屏

26、蔽不同云上计算与存储的差异多云一致产品体验 高达 70-90%的存储节约 集群版释放多租户能力，降低超 30%TCO规模化降本OB Cloud on 百度智能云发布百度智能云上的 OceanBase 云数据库服务更好地满足百度智能云客户对一体化数据管理的需求OB Cloud 多云数据库安全白皮书发布旨在向用户系统阐述 OB Cloud 对云数据库安全的理解，全面展示 OB Cloud 的安全体系。OB Cloud 多云数据库安全白皮书与用户携手共同构建安全、高效、自主可控的云上数据生态，应对云数据库的各项安全挑战。云数据库安全挑战OB Cloud 安全体系共建安全生态扫码下载白皮书0505RoadmapOceanBase RoadmapInterval 分区简化分区管理并易于平滑迁移TPTP时序类 HBase 数据存储优化提高压缩比并提升性能KVKVIceberg、Paimon 等数据湖集成Java,Python UDF堆表支持聚簇列Map、Struct 类型APAP向量文本混合检索支持融合排序让 RAG 类应用更简单高性能AI in OceanBaseAIAI共享存储独立块缓存服务，优化缓存策略提升性能谢 谢