泽拓昆仑Klustron融合-pg2024-赵伟.pdf

1、赵伟 基于PostgreSQL的泽拓昆仑Klustron分布式数据库泽拓科技（深圳）有限责任公司目录ContentsKlustron 的核心技术02Klustron 的融合架构及核心技术03Klustron 融合的未来04Klustron 的架构和概况01泽拓昆仑Klustron 架构和概况01泽拓科技（深圳）有限责任公司泽拓昆仑Klustron 架构：计算与存储分离，按需独立伸缩 Klustron架构、特点和优势 多个计算节点和存储shards，存储和计算分离，计算节点和存储分片按需独立扩容 数据表分区存储在storage shards 多种分区方式：hash,range,list,mirr

2、or，table-group 冷热数据分离，分级存储，大幅降低成本 金融级高可靠性，完善的事务ACID保障 自动处理服务器，网络，机房故障 RTO30s,RPO=0 高性能的OLAP TPC-H和TPC-DS性能领先 弹性伸缩：不锁表，不停服，无感知 支持高级SQL功能 存储过程，触发器，物化视图，游标，CTE 窗口函数，CUBE/ROLLUP/GROUPING-SETS 数据安全性 数据文件和日志文件加密；多层级细粒度的访问控制 生态兼容能力：支持MySQL&PostgreSQL的连接协议和SQL语法泽拓科技（深圳）有限责任公司Klustron超越其他分布式数据库系统的独特能力完全根植于My

3、SQL和PostgreSQL开源生态，与开源生态完全融合和兼容 用户可以充分利用开源生态的大量技术（功能扩展组件，知识经验)，人才资源等；功能扩展组件包括：机器学习组件，向量数据管理组件，PostG IS 等等 用户的应用软件如果原本使用MySQL或者PostgreSQL，则无需任何改动就可以与Klustron协作高性能OLTP和OLAP；用同一份数据做OLAP，用户可以从最新数据中获得洞察和信息 OLAP 查询性能优秀：多层级并行查询处理，JIT,向量化,pipeline 适用于所有Klustron支持的数据模型支持新型数据管理范式 支持多种数据模型：用户可以开发功能更加强大的应用软件系统

4、关系，JSON，G IS，向量，文本(全文检索)支持数据库内计算，用户可以获得更高的数据安全保障；多种语言开发的存储过程，机器学习算法 计算和存储分离，各自按需独立伸缩，应对多样化负载 计算密集的中小数据量、大数据量&低计算量、计算密集的大数据量泽拓科技（深圳）有限责任公司全方位的数据安全和有效性保障 全方位的数据安全保障 连接加密：全链路安全传输，SSL加密：不怕网络连接被监听 存储节点加密：数据文件和日志文件存储加密：不怕被拖库 计算节点 多层级细粒度访问控制 库、模式、表、列、行、视图、存储过程 隐私计算，库内计算：数据不出库，在计算节点中运行数据分析处理逻辑，返回结论 支持的编程语言：

5、PL/SQL，python，java，perl，lua，javascript 等 支持PostgresML机器学习扩展，以及python 生态的机器学习算法库 应对海量数据：无法全部装入内存；使用索引提升查询性能 连接过滤和控制：客户端白名单和黑名单 选择客户端IP范围，用户名，数据库等 数据访问控制和有效性检查 必须在源头（数据库系统内）控制 应用软件无法精确统 一 完整地确保数据安全，并且容易意外泄露数据 非法数据有毒，还会传染，久拖难治！数据有效性验证机制：CHECK,domain，constraint泽拓科技（深圳）有限责任公司生态兼容 融合标准SQL、PostgreSQL 和 MyS

6、QL 的应用和工具软件生态 支持PostgreSQL的DDL 和DML语法和连接协议 支持MySQL的DML和常用DDL 的语法和连接协议 支持JDBC，ODBC，以及常见编程语言的PostgreSQL和MySQL client connector 支持Hibernate等常见的ORM映射中间件 兼容常见的数据导入导出工具 数据变更流式导入：CloudCanal，DataX，迪斯杰，OGG，KunlunCDC（只支持mysql家族)全量导入导出：Kunlun-mydumper，Kunlun-myloader 通过Kunlun-CDC 流式导出增量数据变更灌入常见的各类数据库、消息队列 SQL兼