1 + 1＞2：OceanBase 在多模一体化融合的探索_张易.pdf

《1 + 1＞2：OceanBase 在多模一体化融合的探索_张易.pdf》由会员分享，可在线阅读，更多相关《1 + 1＞2：OceanBase 在多模一体化融合的探索_张易.pdf（15页珍藏版）》请在三个皮匠报告上搜索。

1、1+1 2张易OceanBase 资深技术专家OceanBase 在多模一体化融合的探索业务诉求OLAP标题文本OLTPWide Column问题现网巡检安全与合规故障排查维护升级性能调优NSpatialkKkkVVVVKVDocument工作量备份恢复多数据库系统使用的问题OceanBase 多模融合一体化引擎SQL引擎基础类型Int/Varchar/Date.多模类型JSON/GIS/XML.优化器/执行器KVHBaseRedisTableAPI行存行存备份恢复OCPOMSODCSQL 引擎多模 KV工具体系分布式存储引擎基于统一的分布式存储引擎构建/多模融入一体化 SQL 引擎 多模融合

2、价值问题多模融合一体化价值多模融合计算多模融合存储多模一体化运维基础引擎红利*NOLTPSpatialVector评价最好：向量索引查询标题文本融合计算的价值 选择最优的执行代价查询离我最近的,评分四分以上的奶茶店中评价最好的 10 条评论评分四分以上：普通类型索引离我最近：空间索引查询数据库优化器：选出最优执行路径融合计算的价值 异构数据无缝转换&计算标题文本关系数据Json_Table/XML_Table 等做模型转换文档数据树形数据组织标题文本关系数据 1JoinJoin标题文本标题文本关系数据 1标题文本关系数据 2XMLAGG/JsonAGG 等业务Point 数组融合存储的价值 复

3、用存储降本红利关系数据标题文本存储 Encoding极致压缩比空间轨迹数据文档数据关系数据半结构化数据OBKV-HBase Hbase 在大数据处理中的应用场景OBKV-HBase：专注海量半结构化/结构化数据简单存取海量数据预处理以及存储实时查询 1：ETL 中数据交互以及 AP 中维表查询实时查询 2：数据分析结果集供业务高速访问OBKV-HBase 适用场景对比基于 OB 强大 TP 引擎：OBSQL&OBKV-Hbase 全场景覆盖 HBase生态场景标题文本OB SQLOB HBase结构化数据标准 SQL索引&灵活算子OB TP基线性能Schemaless兼容HBase接口简单 g

4、et/Put 等+30%OB TP基线同等 开源HBase Put4 倍 开源HBase GetSchemaAPI灵活度性能压缩比HBase替换场景Apache Phoenix开源 HBaseN 倍开源 HBase优 25%开源 HBaseHbase 替换场景介绍API 补数据开源HBaseKafka(原始事件数据）Flink(Split)用户数据（不完整）事件数据（加工后）Oceanbase HbaseKafka(同步给下游）Flink(Merge)PutGetKafkaOLAP引擎Flink实时 ETLKeyKey&Value字典服务APIOceanbase SQL开源 HBaseKafk

5、a1.对数据库只有简单的 KV 操作2.ETL 过程中做 Get，需要极致的点查性能3.适用 SQL 接口友好1.每天几十亿的入库，极致的Batch Insert 性能2.维表和实时表存储的数据有嵌套结构，并且需要极致的增量更新能力3.需要极致的点查性能字典注册字典生成PutOBKV-Redis 兼容 Redis 接口的持久化数据库缓存数据库一体化：给 80%Redis+RDS 架构的场景降本读DB写Cache读Cache写DBOceanbase 存储引擎RowCacheBlockCacheSStable热数据冷数据内存:数据(随机访问)TPSAVG RT(us)P99 RT(us)10%43

6、13311516899 20%598608295991 50%2762927132109 100%3316415841464 100%38372910083101 1.数据放在内存更贵2.架构复杂，缓存数据库一致性处理麻烦3.80%场景不需要极致的 RT1.满足 80%场景场景的 RT 以及吞吐2.适合 Redis+RDS 架构中，数据访问存在冷热的场景，冷数据在磁盘，热数据在内存。3.数据库自动解决数据一致性问题，业务可以把“Redis”当真正的数据库使用业务Redis 替