OushuDB 6.0 内核升级引领实时湖仓一体新范式.pdf

1、引领实时湖仓一体新范式OushuDB6.0内核升级陶征霖偶数科技自 主 创 新 引 领大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会OushuDB6.0体系架构实时湖仓一体最佳实践OushuDB6.0内核升级新功能0 01 10 02 20 03 3目 录Contents大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准

2、推进委员会大数据技术标准推进委员会大数据技术标准推进委员会OushuDB6.0体系架构3极速的性能比传统MPP快5-10倍，比SQL on hadoop快30+倍PB级数据查询秒级响应，支持交互式查询亿级大表与亿级大表Join秒级响应实时数据单线程每秒1.5w条（插入删除更新混合）无限扩展能力存算分离架构计算与存储可以分别横向线性扩展单集群支持上万节点在线秒级扩容，无须人工干预支持超高并发主节点集群+元数据集群支持上万并发横向线性扩展，无限制混合负载能力跑批和查询同时进行高并发、低延时的查询能力可插拔存储（实时、离线、归档用不同存储）支持各种对象存储、HDFS和自研Magma分布式表存储使用方

3、便JDBC、ODBC连接支持标准SQL语法和存储过程支持强事务一致性（ACID）兼容hadoop生态 客户端客户端客户端客户端客户端Client 虚拟存储集群 Virtual Storage Cluster(VSC)数 据HDFS VSC数 据S3 VSC元 数 据Magma VSC数 据Magma VSC VCVC 实例计算节点计算节点虚拟计算集群 Virtual Compute Cluster(VC)主节点 Main Node主节点主节点主节点主节点本地缓存本地缓存VC 实例计算节点计算节点本地缓存本地缓存VCVC 实例计算节点计算节点本地缓存本地缓存VC 实例计算节点计算节点本地缓存本地

4、缓存大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会OushuDB6.0体系架构之资源隔离VCIVCIVCIVCIVCIVCIVCIVCIVCIVCIVCIVCIsegmentsegmentsegmentsegmentsegmentVCI-nVCI-3VCI-4VCI-1（建议最大128节点）VCI-2VC1：批处理（可以无限个计算节点）VC2：即席查询（32）VCn：固定报表（32）多虚拟存储集群多虚拟计算集群在日终、月底时，

5、可快速增加额外的计算资源来提升性能l处理更多数据l响应更多用户请求HDFS1计算与存储分离物理隔离物理隔离HDFS2HDFS3VSC1HDFS1HDFS2VSC2Magma1Magma2VSC3对象存储VSCN物理隔离物理隔离物理隔离大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会OushuDB6.0内核升级新功能兼容SQL:2016新增对JSON/JSONB的完整支持支持动态脱敏功能完整支持行列级权限管控支持动态分区，摒弃了静

6、态分区的做法python升级为3.9java升级为17支持recursive cte支持update分布键新增truncate权限管控多线程+协程模型轻量级资源管理自调优执行器PROCEDURE支持事务控制more.大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会实时湖仓一体最佳实践O Ou us sh hu